NAEP Sommerpraktikanten-Blogreihe: Einführung in kontextualisierte Bewertungen

8. Dezember 2021

Im Laufe des Sommers heben wir die Erfahrungen einiger unserer NAEP-Praktikanten hervor, in ihren eigenen Worten. 

Der Beitrag dieser Woche stammt aus der Perspektive von Margaret Wong. Diesen Sommer arbeitet Margaret mit Jan Alegre, Senior Product Management Lead und Mentor bei ETS, an einem Projekt zusammen, das Innovationen bei der Berichterstattung von NAEP-Umfrage-Fragebogendaten untersucht: 

Diesen Sommer arbeite ich an einem Projekt mit Dr. Jan Alegre als meinem Mentor, um innovative Methoden zur Berichterstattung von NAEP-Fragebogendaten auf der nationsreportcard.gov Website zu entwickeln. Es war unglaublich interessant, die Usability-Berichte zum Design von NAEP-Berichtsprojekten durchzugehen, um diese zu verbessern. Das Seminar dieser Woche mit dem Titel "Einführung in kontextualisierte Assessments" wurde von den ETS-Experten Robert Finnegan, Chris Agard und Madeleine Keehner präsentiert. Es gab noch mehr Einblicke in die Bedeutung kontextueller Daten bei der Bewertung von Leistungsfaktoren der Studierenden. 

Beim Seminar war ich besonders gespannt darauf, mehr über kontextuelle Informationen zu erfahren, die von Schülern durch Umfragen (SQ) gesammelt werden. Kontextuelle Faktoren umfassen die "Chance to Learn" eines Schülers und nicht-kognitive Faktoren. Opportunity to Learn, oder OTL, sind Faktoren, die damit zusammenhängen, ob ein Schüler Möglichkeiten hat, Wissen zu erwerben, innerhalb oder außerhalb der Schule. Nicht-kognitive Faktoren beziehen sich auf die Fähigkeiten, Strategien, Einstellungen und Verhaltensweisen, die sich vom Inhaltswissen und akademischen Fähigkeiten unterscheiden. Zum Beispiel kann ein OTL wie der Zugang zu Büchern beeinflussen, wie viel Lesen ein Schüler eigenständig lesen kann, was sich auf die Leseleistung auswirken kann. Ein nicht-kognitiver Faktor hingegen könnte die persönliche Motivation des Schülers sein, außerhalb des Klassenzimmers Bücher zu lesen. Wenn ein Schüler weniger intrinsisch motiviert ist zu lesen, können seine Lesewerte bei NAEP-Bewertungen niedriger sein. 

Angesichts der schieren Menge an Daten, die aus den Umfragefragebögen hervorgeht, besteht die Notwendigkeit, sie für interessierte Interessengruppen auf verständliche und sinnvolle Weise zu berichten. Deshalb freue ich mich sehr, diesen Sommer mit Dr. Jan Alegre zusammenzuarbeiten, um Möglichkeiten zu untersuchen, wie die Berichterstattung von Umfragefragebögen auf der NAEP-Website verbessert werden kann, damit Zielgruppen unterschiedlicher Herkunft mehr über diese Faktoren erfahren können, die die Schülerleistung beeinflussen. Bisher bin ich sehr engagiert im Nutzerfeedback zur Berichterstattung dieser Umfragefrageergebnisse. Wenig überraschend sind Zielgruppen mit unterschiedlichen Bildungshintergründen sehr an diesen Daten interessiert. Ich freue mich darauf, Stakeholder zu interviewen, um innovative Dashboards zur Berichterstattung von SQ-Daten zu entwickeln. 

Margaret Wong ist eine NAEP-Summer Undergraduate Research Experience (SURE) Praktikantin, die kürzlich ihren Bachelor-Abschluss in Human Systems Engineering an der Arizona State University abgeschlossen hat und derzeit an der Arizona State University an ihrem Masterabschluss in demselben Fach arbeitet.