Ein neuer Ansatz zur Berichterstattung aggregierter Schülerwachstumswerte
8. Dezember 2021
Derzeit messen 48 Bundesstaaten in den Vereinigten Staaten das Wachstum der Schülerleistungen im Rahmen ihrer landesweiten Tests für Grund- und Sekundarschulschüler. Oft werden Wachstumsmaße als Teil von Rechenschaftssystemen für Schulbezirke, Schulen oder sogar Lehrer verwendet, um ein vollständigeres Bild der Schülerleistungen zu erhalten als nur die aktuellen Leistungen. Diese Systeme verwenden den Durchschnitt des Wachstums einzelner Schüler für alle Schüler in einem Bezirk, einer Schule oder einer Lehrerklasse. Obwohl dieser Ansatz auf den ersten Blick eine praktische und einfache Zusammenfassung des Schülerfortschritts sein mag, kann er in Wirklichkeit problematisch sein.
Das Durchschnitt von Wachstumsmaßen für Schulen, Schulbezirke oder Lehrer mit wenigen Schülern kann zu erheblichen jährlichen Schwankungen führen. Eine kleine Schule zum Beispiel mit einem hohen Wachstumsmaß in einem Jahr, die im 90. Perzentil liegt, könnte im nächsten Jahr einen niedrigen Wert haben und nur im 10. Perzentil liegen. Diese jährlichen Veränderungen können es schwierig machen, den Durchschnitt des Schülerwachstums für Entscheidungen zu verwenden. Da diese Entscheidungen oft mit hohen Einsätzen, Finanzierungsimplikationen und anderen Überlegungen zusammenhängen, die Schüler, Schulen und Schulbezirke betreffen, ist es entscheidend, dass diese Messgrößen genau sind und umsetzbare Informationen liefern.
In den letzten Jahren haben wir mit dem kalifornischen Bildungsministerium (CDE) zusammengearbeitet, um ihnen zu helfen, besser zu verstehen, wie sie das Wachstum der Schülerleistungen ihres Bundesstaates messen und berichten können. Bei starken jährlichen Schwankungen war Kalifornien unsicher, ob und wie es mit der Einführung der Wachstumsmaße fortfahren sollte. Daher wollten wir einen Weg finden, die (aggregierten) Wachstumsmaße des Bundesstaates zu verbessern und übermäßige Instabilität aus den Maßen für Schulen oder Bezirke mit kleinen Schülerzahlen oder für Schülergruppen mit geringer Inzidenz, etwa Schüler mit Behinderungen oder Englischlernende (ELs), zu entfernen.
Im Verlauf unserer Arbeit griffen wir auf eine standardisierte statistische Methode namens Empirical Best Linear Prediction (EBLP) zurück, um die Genauigkeit zu verbessern und folglich die jährlichen Schwankungen der Wachstumsmaße zu verringern. Diese statistische Methode wird häufig in vielen verschiedenen Anwendungen verwendet, um Messgrößen für mehrere Gruppen bereitzustellen, wie zum Beispiel Patientenausfälle in Krankenhäusern oder Alphabetisierungsniveaus in Landkreisen eines Bundesstaates. Unser Team entwickelte die notwendige Methodik sowie Computeralgorithmen und Code, um diese EBLP-Methode auf Wachstumsdaten anzuwenden, für die es über eine Million individuelle Lernwachstumsmaße und Hunderte oder sogar Tausende von Schulen geben kann.
Die EBLP-Methode ist kein neues Modell des Schülerwachstums. Sie kann auf jede Art von Schülerwachstumswerten angewendet werden, von einfachen Gewinnwerten (z. B. Wertung des aktuellen Jahres minus Vorjahreswert) bis hin zu komplexeren Schülerwachstumsprozentilen. Die Stärke des EBLP-Verfahrens liegt darin, Schülerwachstumsdaten aus mehreren Jahren optimal zu nutzen, um eine bessere Schätzung des Wachstumswerts der Gruppe im Berichtsjahr des Bundesstaates zu erstellen. Einfach ausgedrückt sind die aggregierten Wachstumswerte des EBLP ungefähr ein gewichteter Durchschnitt der Schülerwachstumswerte aus zwei oder mehr Schuljahren und nicht ein einfacher Durchschnitt der Ergebnisse nur aus dem Berichtsjahr.
Darüber hinaus passt sich die EBLP-Methode an die Größe der Gruppe an. Bei größeren Gruppen mit bereits genaueren und stabileren Schätzungen ist der aggregierte EBLP-Wachstumswert nahezu identisch mit dem einfachen Durchschnitt. Er legt fast das gesamte Gewicht auf die Schülerwachstumswerte im Berichtsjahr und wenig oder gar kein Gewicht auf die Wachstumswerte der Vorjahre. Umgekehrt wird für kleinere Gruppen das EBLP-Verfahren den Wachstumswerten des Vorjahres ein wenig Gewicht beigemessen, da diese das Wachstum der Schülergruppe im Berichtsjahr beeinflussen können. In diesen Fällen unterscheidet sich das EBLP deutlich vom einfachen Durchschnitt, ist aber auch genauer und stabiler als der einfache Durchschnitt. Das Gesamtergebnis ist, dass EBLP-gewichtete Durchschnitte einen größeren Einfluss auf die Verbesserung der Genauigkeit und Stabilität kleinerer Gruppen haben und die Leistungslücke für kleinere gegenüber größere verringern. Mit dieser Methode werden Bundesstaaten mit Schulen und Bezirken, die tendenziell kleinere Schülerzahlen oder kleine Schülergruppen innerhalb von Schulen und Bezirken haben, nicht mehr bestraft, nur weil sie weniger Schüler betreuen als größere.
Mit dieser EBLP-Methodik teilten wir die Ergebnisse unseres Teams mit dem CDE, dessen Mitarbeiter von der Methode als potenzielle Lösung für die hohen jährlichen Schwankungen bei ihren aggregierten Wachstumswerten fasziniert waren, und baten uns, ihr Potenzial zur Verbesserung der Stabilität der Wachstumsmaße für Schulen und Schulbezirke im ganzen Bundesstaat zu prüfen. Die von ETS und dem CDE durchgeführte Untersuchung zeigte, dass EBLP die Genauigkeit und die jahresübergreifende Korrelation von Wachstumsmaßen, insbesondere für kleine Schulen und Schulbezirke, verbesserte. Angesichts des Erfolgs unseres vorgeschlagenen Ansatzes hat das kalifornische State Board of Education kürzlich einstimmig für die Verwendung des EBLP-Ansatzes zur Berichterstattung von Schul- und Bezirkswachstum sowie für das Wachstum von Schülergruppen in Schulen und Bezirken gestimmt.
Erfahren Sie mehr über diese Arbeit oder unsere F&E-Beratungsdienste.
Katherine Castellano ist leitende Forschungswissenschaftlerin bei ETS. Dan McCaffrey ist stellvertretender Vizepräsident bei ETS.