Tauchen Sie tiefer in die Daten ein, um mehr von der Geschichte zu erfahren.

Unser Team engagiert sich für die Innovation der Schülergruppen-Score-Reporting, um verbesserte Lernmöglichkeiten für alle Studierenden zu unterstützen. Wir begannen unsere Zusammenarbeit als Teil eines Co-Design-Teams aus politikorientierten Bewertungsdatennutzern und Forschern, die gemeinsam bessere Darstellungen weit verbreiteter Bewertungsergebnisse entwickelten. Wir führten das Team als Partner – ETS-Forscher und Datenvisualisierungsexperte Eli Holder (3iap), der kürzlich den bahnbrechenden Artikel Unfair Insights veröffentlicht hatte. Im vergangenen Frühjahr trafen wir uns alle zwei Wochen, um verschiedene Möglichkeiten zu entwickeln, Schülergruppentestergebnisse zu berichten, die die Reaktion von "So ist das eben" zu "Wir können Studierenden helfen, indem wir die Bedürfnisse X, Y und Z adressieren!" verschieben. Während dieser Erfahrung leitete ein Mantra all unsere Designs: "Geh über den Durchschnitt hinaus." In diesem Blog haben wir erneut zusammengearbeitet, um zu zeigen, wie diese einfache Änderung viel mehr über die Schülerleistungen aufzeigen kann.

Seit Jahren schneiden Schüler in Massachusetts im Durchschnitt besser ab als Schüler in anderen Bundesstaaten bei der National Assessment of Educational Progress (NAEP) Lesebewertung. 2024 taten sie dies erneut für die Klassen 4 und 8. Solch hohe Noten haben die Aufmerksamkeit von politischen Entscheidungsträgern und Bildungsführern in anderen Bundesstaaten erregt, die die Ergebnisse von Massachusetts als Maßstab und als Hinweis für ihre eigenen Landespolitiken nutzen. Mississippi und Louisiana, zwei Bundesstaaten, die historisch deutlich niedriger abschnitten als Massachusetts beim NAEP-Lesen, wurden für ihre NAEP-Leseergebnisse gelobt und sind Beispiele für andere Bundesstaaten , die ihre Politik für Ideen suchen. Obwohl Mississippi und Louisiana in den NAEP-Landesrankings nach oben gestiegen sind, sind ihre Durchschnittswerte immer noch niedriger als die von Bundesstaaten an der Spitze wie Massachusetts. Eine tiefere Analyse von NAEP-Daten und das Gehen über Durchschnittswerte hinaus kann uns ein klareres und vollständigeres Verständnis dessen geben, was Mississippi und Louisiana erreicht haben und wie die Alphabetisierungsniveaus ihrer Schüler im Vergleich zueinander und zu Massachusetts liegen.

_{Abbildung 1. Ein Balkendiagramm der durchschnittlichen Lesewerte der 4. Klasse im National Assessment of Educational Progress (NAEP) 2024 zeigt, dass Massachusetts im Durchschnitt besser abschnitt als Louisiana, Mississippi und das Land.}

Der NAEP Data Explorer (NDE), der den Nutzern menügesteuerten Zugriff auf eine riesige Schatztruhe an NAEP-Daten bietet, ermöglichte es uns, die Leseleistungen von Schülern auf Landesebene bei Schülern der 4. Klasse zu untersuchen. Abbildung 1 zeigt ein Balkendiagramm der durchschnittlichen NAEP-Lesewerte der 4. Klasse für das Land sowie für Louisiana, Mississippi und Massachusetts. Obwohl solche Balkendiagramme einst eine beliebte Konvention waren, sind sie in vielerlei Hinsicht irreführend und führen insbesondere zu Defizitdenken. Wir nehmen einige Beobachtungen aus diesem einfachen Balkendiagramm fest:

• Schüler in Massachusetts haben die höchste durchschnittliche Leseleistung der vierten Klasse in den Vereinigten Staaten mit einer Durchschnittspunktzahl von 225, ganze 10 Punkte höher als der nationale Durchschnitt von 215 für 2024. Dieser Unterschied ist kein Zufallsrauschen. Er ist statistisch signifikant, ebenso wie alle anderen im Blog genannten Unterschiede.
• Mississippi hatte mit 219 den zweithöchsten Durchschnittswert der drei Bundesstaaten, was 6 Punkte niedriger ist als Massachusetts, aber 4 Punkte mehr als das Land.
• Louisianas durchschnittliche Punktzahl von 216 war ähnlich wie der des Landes insgesamt.

Zusätzlich zu den Durchschnittswerten liefert der NAEP Data Explorer Daten auf Bundesstaatsebene mit mehreren Prozenttilen. Die Perzentile teilen eine Stichprobe von Schülern in 100 gleiche Teile, von denen jeder 1 % der Schüler repräsentiert. Wenn wir von einem bestimmten Perzentil sprechen, beziehen wir uns auf den Wert, bei dem oder unter dem ein bestimmter Prozentsatz der Schüler liegt. Wenn zum Beispiel die Punktzahl eines Schülers im 75. Perzentil liegt, bedeutet das, dass seine Punktzahl gleich oder höher ist als 75 % aller anderen Schüler. Das Aufzeichnen mehrerer Perzentilpunkte hilft uns besser zu verstehen, wie sich die Ergebnisse über die gesamte Schülerverteilung hinweg vergleichen.

_{Abbildung 2. Annotiertes Verteilungsdiagramm der NAEP-Leseergebnisse der 4. Klasse 2024 für das Land.}

Von links nach rechts zeigen die Panels in Abbildung 2, wie eine zusätzliche Informationsschichtung Einblicke in die Schülerergebnisse im Verhältnis zur NAEP-Skala liefert. 

• Im linken Panel sehen wir, wie ein einfaches Balkendiagramm nur einen einzigen Punkt vermittelt – den nationalen Durchschnitt. In solchen Diagrammen neigen Nutzer dazu, ihre eigene Vorstellung von der Verteilung der Werte innerhalb oder um die Balken zu erfinden, was zu Missverständnissen der Daten und dazu führen kann , warum manche Gruppen niedrigere Werte haben als andere.
• Im mittleren Panel verwenden wir ein Punktverteilungsdiagramm, um hervorzuheben, wo die Schüler tendenziell abschnitten. Hier zeigt der dunkelschattigste Abschnitt, dass die mittleren 50 % der Schüler landesweit von 189 (25. Perzentil) bis 245 (75. Perzentil) erzielten.
• Das rechte Panel fügt die NAEP-Leistungsstufen hinzu, um einen Bezugspunkt für die Interpretation der Punkteprozentile zu bieten. Die Leistungsstufen beschreiben, wie gut die Schüler Wissen und Fähigkeiten demonstrieren, wobei NAEP Basic teilweise Beherrschung darstellt. Hier zeigt der dunkelste schattierte Abschnitt, dass die mittleren 50 % der Schülerergebnisse drei Leistungsstufen abdecken: unterhalb von NAEP Basic, NAEP Basic und NAEP Proficient. Außerdem liegt das 90. Perzentil knapp unter dem NAEP Advanced-Niveau, was bedeutet, dass weniger als 10 % der Schüler hoch genug Punkte erreichten, um das fortgeschrittene Niveau zu erreichen.

_{Abbildung 3. Verteilungsdiagramme der NAEP-Lesewerte der 4. Klasse 2024. Die durchschnittlichen Lesewerte für die Nation und jeden Bundesstaat sind in Weiß dargestellt. Gestrichelte vertikale Linien zeigen die Perzentilpunkte der nationalen Verteilung an.}

Schauen Sie sich Abbildung 3 an. Siehst du, was wir sehen? Die linke Seite der Verteilung für Mississippi ähnelt eher der von Massachusetts als der des Landes oder Louisiana. Die 10. Perzentile von Mississippi und Massachusetts liegen etwa 10 Punkte höher als die des Landes.

Sowohl Mississippi als auch Massachusetts sehen
Bessere Ergebnisse für leistungsschwächere Schüler
als die Nation insgesamt.

Was sehen Sie am rechten Ende der Verteilung? Dort sind die Scores in Mississippi niedriger als die von Massachusetts (um 13 Punkte) und Louisiana (um 4 Punkte). 

Mississippis leistungsstärkste Schüler
Es kann mehr Unterstützung nötig sein, um das zu erreichen
Gleiche Leistungsniveaus wie Schüler in anderen Bundesstaaten.

NAEP sammelt außerdem Daten zu verschiedenen Merkmalen der Schüler, etwa ob die Familien der Schüler wirtschaftlich benachteiligt sind. Wenn wir die Ergebnisse nach wirtschaftlichem Status aufteilen, sehen wir ein vollständigeres Bild der Leseergebnisse der 4. Klasse in Mississippi, Louisiana und Massachusetts (siehe Abbildung 4).

_{Abbildung 4. Verteilungsdiagramme der NAEP-Lesewerte der 4. Klasse, aufgeschlüsselt nach familiärem wirtschaftlichen Status. Die durchschnittlichen Lesewerte der 4. Klasse nach familiärem wirtschaftlichen Status für die Nation und jeden Bundesstaat sind in Weiß dargestellt. Gestrichelte vertikale Linien zeigen die Perzentilpunkte für die nationale Verteilung an.}

Wenn man analysiert, ob die Familien der Schüler wirtschaftlich benachteiligt sind, variieren die Lesewerte erheblich und sind im Allgemeinen höher bei Schülern aus nicht wirtschaftlich benachteiligten Familien.  Einige Bundesstaaten scheinen besser als andere beim Lesen an wirtschaftlich benachteiligte Schüler zu sein.

Siehst du das, was wir im linken Panel in Abbildung 4 sehen?

Sowohl Mississippi als auch Louisiana übertreffen die Nation insgesamt
Wenn es um die Leistung der Schüler geht
aus wirtschaftlich benachteiligten Familien.

• Mississippi hat den höchsten durchschnittlichen Lesewert der 4. Klasse (212) unter wirtschaftlich benachteiligten Schülern, 8 Punkte höher als Massachusetts (204) und 10 Punkte höher als das Land (202).
• Sowohl das 10. als auch das 25. Perzentil für wirtschaftlich benachteiligte Schüler liegen in Mississippi um 13 Punkte höher als in Massachusetts, obwohl anteilig fast doppelt so viele Schüler in Mississippi (75 %) wirtschaftlich benachteiligt sind wie in Massachusetts (40 %).
• Mississippi-Schüler übertreffen die Nation an jedem Perzentilpunkt in der Punktverteilung um 6 bis 15 Punkte, mit Ausnahme der am besten erzielten Schüler (im 90. Perzentil), mit den größten Unterschieden am linken Ende der Verteilung.
• Mit 73 % seiner Schüler, die wirtschaftlich benachteiligt sind, übertrifft Louisiana das Land konstant um etwa 7 Punkte pro Perzentilpunkt, mit Ausnahme des ganz niedrigsten.

Der Blick auf das rechte Panel in Abbildung 4, das die Punktverteilungen für nicht wirtschaftlich benachteiligte Schüler zeigt, führte uns zu folgenden Beobachtungen und einer tiefgründigen Frage.

• Alle drei Bundesstaaten haben insgesamt 7 bis 10 Punkte höhere Durchschnittswerte als das Land.
• Betrachtet man die linke Seite der Verteilungen, haben sowohl Mississippi als auch Massachusetts deutlich höhere 10. und 25. Perzentile als das Land insgesamt – um 10 bis 20 Punkte.
• Die größte Unterscheidung ist das 10. Perzentil in Mississippi, das 20 Punkte höher liegt als das Landes.
• Welche Unterstützung könnten diese Bundesstaaten für wirtschaftlich benachteiligte Schüler mit den größten Bedürfnissen bieten?

_{Abbildung 5. Verteilungsdiagramme der NAEP-Lesewerte der 8. Klasse, aufgeschlüsselt nach familiärem wirtschaftlichen Status. Die durchschnittlichen Lesewerte der 8. Klasse nach familiärem wirtschaftlichen Status für die Nation und jeden Bundesstaat sind in Weiß dargestellt. Gestrichelte vertikale Linien zeigen die Perzentilpunkte für die nationale Verteilung an.}

Schauen wir uns den Daten der 8. Klasse von NAEP für unsere drei Bundesstaaten an, um zu sehen, ob die Trends anhalten. Wenn man die Ergebnisse nach familiärem wirtschaftlichen Status aufteilt, zeigen die Verteilungsdiagramme im linken Panel in Abbildung 5, dass Mississippi und Louisiana bei wirtschaftlich benachteiligten Schülern in der 8. Klasse auf Augenhöhe mit Massachusetts abschneiden. Alle drei Bundesstaaten schneiden insgesamt besser ab als das Land für die linken bis mittleren Teile der Verteilungen.

Für Studierende, die wirtschaftlich nicht benachteiligt sind, hat Mississippi jedoch Verbesserungspotenzial im Vergleich zu anderen Bundesstaaten und der Nation. Betrachten wir das rechte Panel in Abbildung 5 und machen folgende Beobachtungen:

• Im Vergleich zu Massachusetts und Louisiana schneidet Mississippi in der gesamten Verteilung sowohl für Schüler mit höheren als auch niedrigeren Punktzahlen niedriger ab.
  • Zum Beispiel liegt in Mississippi das 25. Perzentil bei 243, was 15 Punkte unter dem 25. Perzentil von Massachusetts mit 258 und 10 Punkte unter dem von Louisianas mit 253 liegt.
• Dieses Ergebnis für die wirtschaftlich nicht benachteiligten 8. Klasse in Mississippi unterscheidet sich auffallend von den Ergebnissen der 4. Klasse, was darauf hindeutet, dass Leseinterventionen möglicherweise auf die Bedürfnisse der Schüler zugeschnitten werden müssen, da sie in den höheren Klassen fortgeschrittenere Lesefähigkeiten entwickeln.
• Im Gegensatz dazu schneidet Louisiana für nicht wirtschaftlich benachteiligte Schüler ähnlicher ab wie Massachusetts – oft übertrifft es Mississippi um bis zu 10 Punkte.

Durch die Nutzung eines gemeinsamen Bewertungsprogramms können NAEP-Daten wertvolle, detaillierte Vergleiche der Schülerleistungen zwischen den Bundesstaaten ermöglichen. 

Durchschnittswerte von NAEP zeigen, dass Schüler in Massachusetts in Louisiana, Mississippi und im ganzen Land besser abschneiden, aber ein Stopp bei Durchschnittswerten würde dazu führen, dass die Zuschauer höhere Leistungsniveaus in Mississippi und Louisiana für Schüler mit niedrigeren Punktzahlen übersehen. Insbesondere schneiden Mississippi und manchmal auch Louisiana besser ab als Massachusetts und/oder das Land insgesamt im Lesen der 4. Klasse für

• Schüler mit niedrigeren Punktzahlen im ganzen Bundesstaat;
• wirtschaftlich benachteiligte Schüler, insbesondere solche, die im Durchschnitt oder darunter liegen; und
• nicht wirtschaftlich benachteiligte Schüler, insbesondere solche, die im unteren 10. und 25. Prozent liegen. 
• Sowohl Louisiana als auch Mississippi halten größtenteils mit Massachusetts Schritt bei den Leseergebnissen der achten Klasse, insbesondere bei wirtschaftlich benachteiligten Schülern. Es gibt Verbesserungsmöglichkeiten bei den Leseergebnissen der achten Klasse in Mississippi, insbesondere bei nicht wirtschaftlich benachteiligten Schülern.

Unsere Hoffnung ist, dass staatliche Bildungsleiter diese Ergebnisse als Sprung nutzen können
Fehlpunkt, um mehr darüber zu erfahren, wozu Richtlinien und Praktiken geführt haben
Louisiana und Mississippi, um die Nation oder andere Bundesstaaten zu übertreffen,
Vor allem, wenn es darum geht, Leseergebnisse bei niedrigeren Punktzahlen zu verbessern
Studierende und wirtschaftlich benachteiligte Schüler.

Eine weitere Untersuchung der Schülerleistungen durch Lehrer und Schulmerkmale im NAEP Data Explorer könnte Ihnen zeigen, welche Lehrer- und Schulpraktiken mit höheren Schülerleistungen in diesen Bundesstaaten oder Ihrem eigenen Bundesstaat zusammenhängen könnten. Klicken Sie hier , um Ihre eigene Erkundung der Daten zu beginnen.

Marisol Kevelson, Katherine E. Castellano und Emily Kerzabi arbeiten am ETS Research Institute. Mari ist Associate Research Scientist; Katherine ist leitende Wissenschaftlerin; Emily ist Projektleiterin für Forschungsprojekte. Eli Holder ist der Gründer von 3iap.