ETS-Nachrichten & Einblicke

"Caring"-Assessments: Ein Ansatz zur Unterstützung personalisierten Lernens

Jesse R. Sparks

Research Scientist at ETS

Blair Lehman

Research Scientist at ETS

Diego Zapata-Rivera

Distinguished Presidential Appointee and Senior Director of Research at ETS

9. Dezember 2021

Die Schüler beginnen Lernerfahrungen mit großer Variation in ihrem Wissen, ihren Fähigkeiten sowie den Lernmöglichkeiten und ihren eigenen Erfahrungen. Gute Lehrkräfte erkennen diese Vielfalt an und feiern diese Vielfalt – sie wissen, dass der Lernprozess nicht für alle einheitsorientiert ist, und streben nach individueller, personalisierter Anleitung an, die den Schülern dort entspricht, wo sie stehen, und ihnen hilft, voranzukommen. Während Bewertungen oft am Endpunkt des Lernprozesses stattfinden, sind typische standardisierte Bewertungen weder sensibel für diese große Bandbreite individueller Unterschiede noch für die Kontexte, in denen das Lernen stattfindet, empfindbar. Wie beim Lernen hat dieser Einheitsansatz klare Einschränkungen bei der Bewertung.

Was wäre, wenn es eine personalisiertere digitale Bewertung gäbe, die solche kontextuellen und schülerbezogenen Unterschiede berücksichtigt und eine angemessene Herausforderung darstellt, indem sie Aufgaben ergibt, die sowohl für die Schüler ansprechender sind als auch berechtigt sind, um andere Nutzungen der bereitgestellten Daten zu unterstützen (z. B. zur Information des Unterrichts, zur Feedback, zur Just-in-Time-Hinweise usw.)?

Dies ist die Vision, die wir für "fürsorgliche" Bewertungen haben – Bewertungen, die Aspekte des Schülers berücksichtigen, die bei aktuellen standardisierten Bewertungen nicht berücksichtigt werden. Diese Aspekte umfassen Wissen, Fähigkeiten und andere relevante kognitive, metakognitive und sozial-emotionale Merkmale (manchmal als nichtkognitive Attribute bezeichnet) sowie Aspekte des Lernkontexts, um Bewertungsumgebungen zu schaffen, die geeignete Bedingungen bieten, damit Schüler zeigen können, was sie wissen und können.

Was sind "fürsorgliche" Bewertungen?

"Caring"-Assessments bieten ein maßgeschneidertes Assessment-Erlebnis, mit verschiedenen Aufgabenkonfigurationen, die den Schülern basierend auf den im Voraus verfügbaren Informationen über sie, zum Beispiel Vorwissen, zugewiesen werden können. Im formativen Kontext könnten personalisierte, "fürsorgliche" Assessments auch Just-in-Time-Unterstützung bieten, um den Schülern zu helfen, die Aufgabe zu verstehen und zugänglich zu machen, um Schüler, die möglicherweise Unbeteiligtheit erleben, wieder einzubinden und Antwortformate anzubieten, die es ihnen ermöglichen, bestmöglich zu demonstrieren, was sie wissen und können. Bei diesem Ansatz werden Aspekte des Bewertungskontexts sorgfältig berücksichtigt, damit die Bewertung selbst zu einem positiven, sicheren und motivierenden Lernerlebnis führen kann, in dem die Schüler nicht nur zeigen, was sie wissen, sondern sich auch auf zukünftiges Lernen in verwandten Bereichen vorbereiten können.

Punktberichte und Rückmeldungen aus solchen "fürsorglichen" Bewertungen können ebenfalls bereichernde Informationen über Schüler liefern, um Schülern, Lehrern, Eltern und Erziehungsberechtigten ein nuanciertes Bild der Stärken und Wachstumschancen der Schüler zu bieten. Diese Berichte würden sowohl hinsichtlich der Merkmale der Schüler als auch wichtiger Änderungen am Bewertungsformat, die die Interpretation und Nutzung der Bewertungsergebnisse beeinflussen würden, kontextualisiert. Das Feedback kann basierend auf dem, was die Bewertung über den Schüler weiß, individuell angepasst werden, was die Wahrscheinlichkeit erhöht, dass Schüler, Lehrer, Eltern oder Erziehungsberechtigte das Feedback als Hervorhebung von Wachstumsmöglichkeiten interpretieren und so die Wahrscheinlichkeit erhöht, dass sie auf dieses Feedback reagieren.

Wie könnten "fürsorgliche" Bewertungen personalisiertes Lernen unterstützen?

"Fürsorgliche" Bewertungen könnten sich dynamisch an verschiedene Schülereigenschaften anpassen, die über die typischen demografischen Informationen hinausgehen, die üblicherweise von Bewertungen gesammelt und berichtet werden – einschließlich kontextuelles Wissen, Motivation, Selbstwirksamkeit und Emotionen.

Die Umsetzung solcher Anpassungen erfordert ein tiefes Verständnis relevanter Schülereigenschaften – basierend auf validen, verlässlichen Messgrößen –, um die Bewertung von Anfang an "abzustimmen", sowie die Fähigkeit, das Verhalten der Schüler während der Bewertung in Echtzeit zu verfolgen, um dynamische Moment-für-Moment-Anpassungen an den Aufgaben vorzunehmen. Das Bewertungssystem muss in der Lage sein, relevante Beweise zu erkennen und diese Informationen zu nutzen, um die beabsichtigte Anpassung auszuwählen und umzusetzen.

Einige dieser vorgeschlagenen Anpassungen würden die Struktur der Bewertung erheblich verändern – zum Beispiel könnten einige Schüler zusätzliche Fragen beantworten, die anderen Schülern nicht gestellt werden, oder mit etwas anderen Bewertungskriterien bewertet werden. Je mehr die Bewertungsaufgaben kontextualisiert und personalisiert sind, desto schwieriger ist es, die Leistung standardisiert zwischen Individuen zu vergleichen. Trotz dieser Spannung glauben wir, dass der vorgeschlagene "fürsorgliche" Ansatz großes Potenzial birgt. Wir stellen fest, dass unsere Vision der "fürsorglichen" Bewertung mit Bob Mislevys Vorstellung eines "bedingten Gerechtigkeitsgefühls" übereinstimmt – das heißt, die "bedingte Fairness" im Hinblick auf kontextuelle Informationen über den Hintergrund der Schüler zu nutzen, um Bewertungsdesigns und Bewertungsregeln anzupassen, um differenziertere Belege für die Fähigkeiten vielfältiger Schüler im Lichte der Lernkontexte und der Ressourcen, die sie in das Lernerlebnis einbringen, zu erhalten.

Kritische Fragen zur Umsetzung von "Caring"-Bewertungen

Obwohl diese Vision für eine "fürsorgliche" Bewertung eindeutig erscheint, gibt es mehrere kritische Fragen, die beantwortet werden müssen, um solche Bewertungen Wirklichkeit werden zu lassen.

Zunächst müssen wir überlegen , welche Gruppen von Schülereigenschaften und Kontextvariablen am wichtigsten sind, um im Schülermodell zu verfolgen? Um diese Frage zu beantworten, sollte Forschung mit großen, vielfältigen Populationen durchgeführt werden, um zu untersuchen, wie eine breite Palette von Eigenschaften mit der Aufgabenleistung und der Beteiligung interagiert.

Zweitens: Wenn Probleme mit (schlechter) Leistung oder (Mangel-)Engagement festgestellt werden, wie und wann sollte das System eingreifen? Welche Anpassungen geben den Schülern die besten Möglichkeiten, ihr Wissen und ihre Fähigkeiten zu demonstrieren? Um diese Fragen zu beantworten, müssen wir verschiedene Modifikationen testen und untersuchen, welche Schüleruntergruppen von welcher Kombination von Unterstützungen oder Aufgabenvariationen profitieren; diese Arbeit wäre entscheidend, um sicherzustellen, dass die Modifikationen oder Interventionen keinem Schüleruntergruppen schaden.

Abschließend: Welche Arten von Bewertungsergebnissen sollten den verschiedenen Bewertungsbeteiligten zur Unterstützung einer angemessenen Nutzung dieser Ergebnisse zur Verfügung gestellt werden. Welche Auswirkungen hat es, Ergebnisse aus fürchtigen Bewertungen zu liefern? Wie können wir die Bewertungsergebnisse angemessen kontextualisieren und dabei gute Messeigenschaften erhalten? Mit anderen Worten: Wie können wir Fairness und Nutzen verbessern, ohne auf Zuverlässigkeit und Validität einzubüßen?

Unser Ansatz zur Gestaltung von "fürsorglichen" Bewertungen könnte hoch nuancierte, feine Informationen liefern, die den Unterricht unterstützen und die Kompetenzentwicklung fördern, je nachdem, wo die Schüler sind, wo sie waren und wohin sie gehen.

Jesse R. Sparks ist Senior Research Scientist bei ETS. Blair Lehman ist Forschungswissenschaftler bei ETS. Diego Zapata-Rivera ist Distinguished Presidential Appointmentee und Senior Director of Research bei ETS.