Einführung einer neuen interaktiven Anzeige, um die Änderungen der NAEP-Ergebnisse der Bundesstaaten für Schüler mit höheren und niedrigeren Punktzahlen zu verstehen

Rückgänge der Schülerleistungen seit der COVID-19-Pandemie gefährden den gesellschaftlichen Fortschritt insgesamt. Durchdachte Datenvisualisierungen können zeigen, wie es den Schülern geht und welche am dringendsten zusätzliche Unterstützung benötigen, um nach der High School erfolgreich zu sein.

Im April 2025 veröffentlichte das National Assessment Governing Board (NAGB) ein NAEP-Datentool , um zu untersuchen, wie die Nation und die Bundesstaaten auf dem Weg zur akademischen Erholung mit den Testergebnissen der National Assessment of Educational Progress (NAEP) vorangehen. Abbildung 1 bietet einen Überblick über das Werkzeug. Sie hebt Änderungen der Durchschnittsergebnisse für eine Note (Klassen 4 oder 8) und das Fach (Lesen oder Mathematik) mit Balkendiagrammen hervor. Das Datenwerkzeug bietet eine Zusammenfassung wichtiger Datenpunkte, aber wie wir in einem aktuellen ETS Research-Blogbeitrag gezeigt haben, verbergen sich oft umfassendere Geschichten über Veränderungen der Schülerleistungen hinter Durchschnittswerten. Oder wie das Mantra lautet: "Durchschnitte können mehr verbergen als offenbaren!"

_{Abbildung 1. Reproduktion des Leistendiagramms für die Punktzahländerung der Pandemie von NAGB für die Nation im Lesebereich der 4. Klasse.}

Wir wurden inspiriert, eine interaktive Anzeige zu erstellen, um Punkteänderungen über das gesamte Leistungsspektrum hinweg zu sehen – denn wenn ein Bild mehr wert ist, ist eine interaktive Darstellung so viel mehr wert! In diesem Blogbeitrag heben wir hervor, was dieses neue Tool über Veränderungen in der Schülerleistung vor der Pandemie in allen 50 Bundesstaaten zeigt. Selbst in Bundesstaaten an der Spitze der NAEP-Rangliste haben Schüler mit niedrigeren Punktzahlen mehr aufzuholen als ihre höher bewerteten Mitschüler. Anschließend überprüfen wir die Funktionalität unserer interaktiven Anzeige, damit Sie die nächste Geschichte in den Daten finden können.

_{Abbildung 2. Verteilungen der NAEP-Leseergebnisse der 4. Klasse 2019 und 2024 für die Nation.}

In Abbildung 2 verwenden wir die nationalen NAEP-Leseverteilungen der 4. Klasse für 2019 und 2024, um zu zeigen, wie sich die Lesewerte von vor bis nach der Pandemie verändert haben. Für jedes Jahr zeigen wir 5-Perzentil-Punkte (verfügbar im NAEP Data Explorer) an, die die niedrigen (10. und 25. Perzentile), mittlere (50. Perzentil) und hohe (75. und 90. Perzentile) des Schülerleistungsspektrums zeigen.

Der Vergleich der beiden Punktverteilungen zeigt, dass seit der Pandemie die Ergebnisse bei Schülern mit niedrigeren Punktzahlen stärker gesunken sind als bei Schülern mit höheren Punktzahlen. Dies zeigt sich daran, dass die untere Leiste, die die Wertverteilung von 2024 darstellt, breiter ist als die für 2019. Sie ist für Studierende mit niedrigeren Punktzahlen nach links verschoben, entspricht aber fast der Verteilung der Punktzahlen von 2019 bei höher bewerteten Schülern. Wir machen auch folgende Beobachtungen:

• Die niedrigsten 10 Prozent der Schüler erreichten 2019 eine Punktzahl von 168 oder weniger, aber 2024 nur bei oder unter 158 – ein Rückgang um 10 Punkte.
• Im Gegensatz dazu erreichten die besten 10 Prozent der Schüler 2019 über 266 Punkte, verglichen mit fast dem gleichen Wert von 265 im Jahr 2024 – ein Rückgang um nur einen Punkt.
• Mit der vollständigen Punktverteilung sehen wir, anstatt nur die Durchschnittswerte zu betrachten, dass der Rückgang bei Schülern mit niedrigeren Punktzahlen etwa zehnmal größer ist als bei Schülern mit höherer Punktzahl.
• Diese Unterschiede in den Punkteänderungen im gesamten Leistungsspektrum führen dazu, dass der Leistungsunterschied zwischen niedrig und hoch bewerteten Schülern von 2019 bis 2024 um 9 Punktepunkte ansteigt.

_{Abbildung 3. Veränderungen der NAEP-Lesewerte der 4. Klasse für das Land von 2019 bis 2024. Die horizontale Linie bei 0 unterscheidet zwischen positiven und negativen Veränderungen.}

Um die Unterschiede in den Wertänderungen über das Leistungsspektrum hinweg leichter erkennen zu können, führen wir eine Variation eines Diagrammtyps zur Interpretation von Trends ein. Wie in Abbildung 3 gezeigt, kombinieren wir den Vergleich zweier Verteilungen in Abbildung 2 mit einer einzigen Linie.

Im Gegensatz zu typischen Liniendiagrammen mit Bewertungsergebnissen, die das Bewertungsjahr auf der horizontalen Achse zeigen, zeichnen wir in unserem Diagramm die Ergebnisse von 2019 an mehreren Perzentilpunkten auf der horizontalen Achse und die Veränderungen an diesen Punkten von 2019 bis 2024 auf der vertikalen Achse dar. Wir fügen außerdem eine horizontale Linie bei null hinzu, um zu erkennen, wann die Werte an bestimmten Punkten des Leistungsspektrums von 2019 bis 2024 (Punkte oberhalb der Nulllinie) gestiegen sind im Vergleich zu denen, die gesunken sind (Punkte unterhalb der Nulllinie). Punkte, die auf oder nahe der Nulllinie liegen, zeigen die gleiche oder nahezu gleiche Leistung im Jahr 2024 wie vor der Pandemie 2019. Mit anderen Worten, solche Punkte deuten darauf hin, dass die 4. Klasse 2024 auf dem Niveau vor der Pandemie liegt.  

Um die Handlung besser zu lesen, stellen wir fest, dass der erste Punkt der Linie in Abbildung 3 wie folgt positioniert ist:

• bei 168 auf der horizontalen Achse – entsprechend dem 10. Perzentil im Jahr 2019 – und
• bei -10 auf der vertikalen Achse – entsprechend einem Rückgang um 10 Punkte im 10. Perzentil von 2019 bis 2024.

Die anderen Punkte der Linie in Abbildung 3 sind für jeden der verbleibenden Perzentilpunkte ähnlich bestimmt: 25., 50., 75. und 90. Perzentil. Zusammen bilden sie eine nach oben geneigte Linie, die auf einen kurzen Blick die Geschichte über Veränderungen im Leistungsspektrum erzählt. Die nach oben geneigte Linie zeigt, dass Viertklässler in den Vereinigten Staaten am unteren/linken Ende der Schülerverteilung einen größeren Leseverlust erlebten als am oberen/rechten Ende der Verteilung. Ein Blick über die Änderung der Durchschnittswerte hinaus zeigt, dass die Verluste über das Leistungsspektrum hinweg variierten und die Leistungsunterschiede zwischen niedrigen und hoch erzielten Schülern größer wurden.

_{Abbildung 4. Veränderungen der NAEP-Lesewerte der 4. Klasse für die Nation, Louisiana, Mississippi und Massachusetts von 2019 bis 2024. Die horizontale Linie bei 0 unterscheidet zwischen positiven und negativen Veränderungen.}

In unserem vorherigen ETS Research Blog haben wir uns die NAEP-Lesewerte von drei Bundesstaaten angesehen: einem Bundesstaat, der traditionell gut bei NAEP abgeschnitten hat – Massachusetts – und zwei Bundesstaaten, die es nicht getan haben, aber Richtlinien zur Verbesserung des Leseniveaus der Schüler eingeführt haben – Mississippi und Louisiana. Abbildung 4 zeigt unseren Einzeilen-Ansatz für diese drei Bundesstaaten, im Vergleich zum nationalen Gesamtergebnis.

In Abbildung 4 sehen wir Folgendes:

• Das nach oben gerichtete Muster, das auf wachsende Lücken zwischen Schülern mit niedrigeren und höheren Punktzahlen hinweist, ist nicht einzigartig für die Nation. Es ist auch in gewissem Maße für alle drei Bundesstaaten offensichtlich.
• Allerdings sind die Grenzen für Louisiana und Mississippi viel flacher oder weniger steil, was bedeutet, dass die Bildungszuwächse und -verluste zwischen Best- und Schwächeschülern ähnlicher waren. Die Grenze für Louisiana liegt über 0 und nahezu gleich! Das bedeutet, dass Louisiana die Ergebnisse für Schüler im gesamten Leistungsspektrum auf oder über das Niveau vor der Pandemie zurückbringen konnte. Schüler der 4. Klasse, unabhängig von akademischem Bedarf oder Niveau, schneiden 2024 in Louisiana beim Lesen besser ab als vor der Pandemie 2019! Dieses Ergebnis könnte die Reformen Louisianas am Arbeitsplatz widerspiegeln.

Die Reformen in Mississippi könnten ebenfalls weiterhin darauf abzielen, die Bedürfnisse der Studierenden zu unterstützen:

• Die Linie von Mississippi folgt der fetten 0-Linie und weist auf relativ vergleichbare Ergebnisse im Jahr 2024 mit den Niveaus vor der Pandemie 2019 im gesamten Leistungsspektrum hin.

Andererseits hatte Massachusetts zwar 2024 einen der höchsten durchschnittlichen NAEP-Lesewerte der Klasse 4, dass:

• Massachusetts hat die steilste Grenze, die die deutlichste Veränderung über das Leistungsspektrum hinweg zeigt und die Kluft zwischen Schülern mit niedrigen und hohen Punktzahlen um 15 Punkte vergrößert!

_{Abbildung 5. Änderungen der NAEP-Leseergebnisse der 4. Klasse für die Nation, alle 50 Bundesstaaten, den District of Columbia und die Bildungsbewertung des Verteidigungsministeriums (DoDEA) anhand unserer interaktiven Anzeige. Eine horizontale Linie bei 0 unterscheidet zwischen positiven und negativen Veränderungen.}

Abbildung 5 zeigt die vollständige Ansicht aller Bundesstaaten von unserer interaktiven Anzeige für das Lesen der 4. Klasse. Sie zeigt uns, dass Louisiana nicht nur im Vergleich zum Land, Mississippi und Massachusetts einzigartig ist, sondern zu allen Bundesstaaten! Die meisten Bundesstaaten haben ansteigende Linien wie Massachusetts und liegen vollständig oder fast vollständig unter 0. Mit anderen Worten: Die meisten Bundesstaaten müssen noch aufholen, um die vor der Pandemie in der vierten Klasse zu erreichen, besonders für die Schüler mit den niedrigsten Punktzahlen.

Wie sehen diese Ergebnisse für das Lesen in der 8. Klasse aus? Wie sieht es in Mathematik aus? Wie hat sich dein Bundesstaat geschlagen? Probiere die interaktive Anzeige aus, um deine Geschichte zu finden! Hast du eigene Bewertungsdaten? Probiere auch diese zeitübergreifende Plottmethode mit ihnen aus!

Wie man sich auf der Ausstellung zurechtfindet:

• Nutzen Sie das linke "Controls"-Panel, um zwischen Lesen oder Mathematik und den Punktzahlen der 4. oder 8. Klasse zu wechseln.

• Nutzen Sie das linke "Controls"-Menü, um zwischen dem Betrachten aller Zustände und dem Anzeigen ausgewählter interessierter Zustände zu wechseln. Halten Sie die "Control"-Taste gedrückt, um mehr als einen Zustand im Dropdown-Menü auszuwählen. Halten Sie die "Shift"-Taste gedrückt, um aufeinanderfolgende Zustände auszuwählen.

• Halten Sie über einem Punkt auf einer Linie inne, um ein Hover-Feld mit Informationen zum Datenpunkt zu sehen, einschließlich des Landesnamens, ausgewählter Perzentil und der Punktänderung am Perzentil.

• Beachten Sie die horizontale Position der Linie, um ein Gefühl für die Ausgangsleistung vor der Pandemie 2019 zu bekommen. Im Gegensatz zur Linie Virginias ist beispielsweise die Linie von Puerto Rico im Mathematikdiagramm der 4. Klasse deutlich nach links verschoben, was auf eine relativ niedrige Leistung im Jahr 2019 hinweist.

• Beachten Sie die Länge der Linien , um Bundesstaaten mit kleineren oder größeren Leistungsunterschieden zwischen Schülern mit niedrigeren und höheren Ergebnissen im Ausgangsjahr 2019 zu identifizieren. Zum Beispiel hat das DoDEA eine recht kurze Schlange für Mathematik der vierten Klasse im Vergleich zur recht langen Schlange für Maryland. Schüler mit niedrigen und hohen Punktzahlen im DoDEA schnitten 2019 ähnlicher ab als in Maryland.

Katherine E. Castellano, Marisol Kevelson, Emily Kerzabi und Anita Sands arbeiten an groß angelegter Bewertungsforschung, und Michael Fauss arbeitet am ETS Research Institute an Innovationen im Einsatz von KI zur Testsicherheit. Mari ist außerordentliche Wissenschaftlerin; Katherine ist leitende Wissenschaftlerin; Emily ist Projektleiterin für Forschungsprojekte; Michael ist Forschungswissenschaftler; und Anita ist leitende Analystin für Politikforschung. Die Autoren würdigen und danken außerdem Nicholas Munyan-Penney (stellvertretender Direktor für P-12-Politik bei edtrust) für seine durchdachten Kommentare und die Rezension dieses Blogbeitrags.