Führende Wissenschaftler versammeln sich bei ETS, um die Personalisierung der Bewertung im Dienst der Gerechtigkeit zu erforschen

"Wir müssen versuchen, das Wissen und die Fähigkeiten jedes Einzelnen so zu messen, dass es am besten zu ihm passt."
- Randy Bennett, ETS Norman O. Frederiksen Lehrstuhl für Assessment Innovation

Theoretisch erscheint personalisierte Bewertung so ... offensichtlich. Wir können uns alle darauf einigen, was nötig ist, aber es ist das "Wie wir es machen", das Herausforderungen und Chancen mit sich gebracht hat, die die Assessment-Community dazu zwingen, die zukünftige Bewertung neu zu definieren und Lösungen zu entwickeln, um zu messen , was jeder Einzelne weiß und tun kann, unabhängig von Hintergrund, Interesse, Erstsprache oder kultureller Identität.

Bei ETS leben und atmen wir jeden Tag die Zukunft der Bewertung. Und obwohl wir das Privileg haben, einige der führenden Forscher und innovativen Köpfe zu haben, die unter anderem an personalisiertem Lernen arbeiten, wissen wir, dass wir das aktuelle Bewertungsparadigma nicht allein neu gestalten können.

Im November begrüßte ETS führende Wissenschaftler auf seinem Princeton-Campus zu einer kleinen Veranstaltung mit dem Titel "Exploring Personalization in the Service of Equity". Die Veranstaltung brachte Experten aus verschiedenen Disziplinen und Institutionen zusammen, um Ideen auszutauschen, Herausforderungen zu diskutieren und zukünftige Forschungs- und Kooperationsmöglichkeiten zu identifizieren – um letztlich Lösungen für das Ziel von ETS Randy Bennett zu finden.

Transkript ansehen

"Diese Veranstaltung ist einer der vielen Schritte, die wir gemeinsam unternehmen, um das Potenzial personalisierter Bewertungen zum Gemeinwohl zu erforschen", sagte Kadriye Ercikan, Vizepräsidentin für Forschung bei ETS.

Was ist Personalisierung?

Personalisierung in der Bewertung ist der Prozess, bei dem der Inhalt, das Format oder die Schwierigkeit einer Bewertung an die individuellen Eigenschaften des Lernenden angepasst wird, wie das Vorwissen, die Fähigkeiten, Präferenzen, Ziele, Interessen, kulturelle Identität oder persönliche Merkmale des Lernenden. Personalisierung in der Bewertung kann die Gültigkeit, Zuverlässigkeit und Fairness der Bewertung sowie die Motivation und das Engagement des Lernenden verbessern.

Die Veranstaltung entfachte einen dynamischen Dialog und förderte Diskussionen darüber, was nötig ist, um personalisierte Bewertungen , die der Gerechtigkeit dienen, Wirklichkeit werden zu lassen. Dies war die erste von vier geplanten Treffen in diesem Jahr, die mit der neuen Forschungsagenda von ETS übereinstimmten; Das haben wir bei unserer ersten Veranstaltung gehört:

Randy Bennett,
Norman O. Frederiksen Lehrstuhl für Assessment Innovation, ETS

"Die USA sowie viele andere Länder weltweit haben beispiellose Bevölkerungsveränderungen erlebt. Dieser Wandel ging in Richtung größerer Vielfalt in vielen Dimensionen, insbesondere jedoch entlang rassischer/ethnischer, sprachlicher und sozioökonomischer Linien. All diese Dimensionen bringen erhebliche kulturelle Heterogenität mit sich. Die heutigen Tests wurden nicht darauf ausgelegt, das Maß an kultureller Vielfalt zu berücksichtigen, das wir oder viele andere Länder erleben. Dieser Konflikt treibt die Notwendigkeit neuer Bewertungskonzepte voran, einschließlich Personalisierung im Dienst der Reaktion auf Vielfalt.

Wenn Personalisierung nicht absichtlich erfolgt, um Gerechtigkeit zu erreichen, könnte sie ebenso gut zu größeren Ungleichheiten führen. Wem die Entwicklung entsteht, ist wichtig, die gewählten Methoden sind wichtig, die Variablen, die sie zur Personalisierung auswählen, und die Teilnehmerproben, die sie verwenden, sind wichtig. Die Demografie derjenigen, die Tests entwickeln, und derjenigen, die KI-Lernsysteme entwickeln, ähneln überhaupt nicht den Demografien öffentlicher Schulpopulationen in den USA oder vielen anderen Ländern. Das ist ein Problem im Kontext der Gestaltung von Personalisierung für Gerechtigkeit."

Matthew L. Bernacki,
Außerordentlicher Professor für Lernwissenschaften und psychologische Studien an der University of North Carolina at Chapel Hill, Donald und Justeen Tarbet Distinguished Scholar

"Bildungsforscher haben jahrzehntelang erforscht, wie Instructional Designs bestimmten Lernenden zugutekommen können, und es gibt viele psychologische Theorien über das Lernen, die als Handbücher für Lehrer und Designer dienen können, um darüber nachzudenken, wie eine Lektion ein Asset aufnehmen oder nutzen kann, das ein Lernender in eine Lernerfahrung einbringt. Anstatt dieses Wissen aufzubauen, müssen Personalisierungsexperten die bestehende Wissensbasis in ihr Designschema einbinden, um sie an die richtigen Merkmale des Lernenden anzupassen, die bekannt sind, um zu verbessern, wie Bewertungen die Erfahrungen und Ergebnisse des Lernenden beeinflussen können. ... Die Verwendung von Personalisierung als Designperspektive kann uns helfen, eine umfassendere Darstellung des Individuums zu schaffen, während wir Lern- und Bewertungserfahrungen gestalten, die jedem Einzelnen eine gerechte Möglichkeit bieten, sein Wissen und seine Fähigkeiten zu demonstrieren und auszubauen."

Okan Bulut,
Außerordentlicher Professor für Mess- und Datenwissenschaften, University of Alberta

"Wenn wir von One-Size-Fits-All-Bewertungen zu personalisierten Bewertungen übergehen, müssen wir die Kernkonzepte der pädagogischen Messung, wie Zuverlässigkeit und Validität, neu überdenken. Mit breiteren und inklusiveren Definitionen dieser Konzepte können wir die breite Einführung personalisierter Assessments besser unterstützen. Personalisierung hat das Potenzial, gesellschaftliche Probleme anzugehen, indem sie eine gerechtere und inklusivere Lernumgebung fördert. Personalisierte Assessments werden Lernende dazu befähigen, authentisch zu zeigen, was sie wissen und können, durch ihre eigenen Lernerfahrungen und Entscheidungen."

Neil Heffernan,
Gründer und Vorstandsvorsitzender der ASSISTments Foundation; William Smith Dean's Professor für Informatik und Direktor des Graduiertenprogramms für Learning Science & Technologies am Worcester Polytechnic Institute

"Es war großartig, mit ETS und meinen Kollegen über Personalisierung im Dienst der Gerechtigkeit zu sprechen. Formative Bewertungen werden weiterhin wichtig sein, und ich hatte die Ehre, dieser Gruppe beizutreten, um zu erklären, wie meine Online-Mathematikplattform ASSISTments.org das Lernen personalisiert."

Serena Magrogan,
Senior Director, AP^® Curriculum, Instruction, & Assessment The College Board^®

"Der Schlüssel zu personalisierter Bewertung ist vorschreibendes Lernen. Vorschreibende Lernmöglichkeiten mit klaren Output-Parametern und offenen Bewertungsrastern können den Schülern helfen, Verantwortung zu übernehmen, Verantwortung zu übernehmen und sogar Stolz auf die Ergebnisse ihrer Arbeit zu erlangen. Und auf diese Weise arbeitet die Bewertung für sie, nicht gegen sie."

Kyndra V. Middleton,
Direktor der Graduiertenstudien Professor für Pädagogische Psychologie,
Howard-Universität

"In den letzten Jahren haben wir spannende und vielversprechende Entwicklungen bei Personalisierung im Lernen und bei der Bewertung beobachtet. Personalisierung hat das Potenzial, jedem Schüler zugutezukommen und gleichzeitig einen gerechten Zugang zu bieten. Mit Personalisierung geht jedoch die Verantwortung einher, eine angemessene Messung sicherzustellen, doch derzeit entwickelt sich diese Bewegung in eine positive Richtung!"

Robert J. Mislevy,
Professor Emeritus, University of Maryland, ehemaliger Frederic M. Lord Lehrstuhl für Messung und Statistik, ETS

"Personalisierung und sozio-kulturell responsive Bewertung (SCRA) nutzen die persönlichen, sozialen, kulturellen und sprachlichen Hintergründe der Schüler nach Bedarf und nutzen die persönlichen Hintergründe der Schüler, um besser zu zeigen, was sie wissen und können. Mein Vortrag skizziert einen evidenzbasierten Argumentationsrahmen, um die Konzeption, Nutzung und Analyse der Eigenschaften verschiedener Arten von Bewertungen zu unterstützen, die diese Prinzipien für unterschiedliche Zwecke anwenden. Ich untersuche Designs, die unterschiedliche Abwägungen zwischen der lokalen Validität der Score-Interpretationen für das Lernen und der Vergleichbarkeit von Scores wie bei groß angelegten Testprogrammen bieten. Fortschritte in der Lernwissenschaft und -technologie ermöglichen eine Reihe von Ansätzen, die die Validität und damit die Fairness für gezielte Score-Anwendungen erhöhen."

Jesse R. Sparks,
Senior Research Scientist, ETS

"Es gibt viele Herausforderungen und Chancen bei der Personalisierung von Bewertungen im Dienste größerer Gerechtigkeit. Wie wir Personalisierung umsetzen, kann je nach Anwendungsfall der Bewertung im Ausmaß und in Qualität variieren – zum Beispiel gibt es größere Möglichkeiten, Personalisierung in Assessments zu integrieren, die Lehre und Lernen unterstützen. Es ist entscheidend für uns zu verstehen, wie und wann wir personalisieren sollten und inwieweit personalisierte Unterstützung zu einem gerechteren Zugang zur Teilnahme an der Bewertung führen und zu gerechteren Schülerergebnissen und Bildungschancen beitragen kann."

Ye Tong,
Senior Vice President für Bewertungsoperationen, NBME

"Personalisierte Bewertungen haben ein enormes Potenzial im prägenden Raum, um Lernende auf ihrem Weg zum Erfolg zu unterstützen. Wir müssen jedoch die kulturellen und sozialen Aspekte der Bewertungsgestaltung und -umsetzung während der Personalisierung berücksichtigen. Einerseits müssen wir faire Bewertungen bieten, die jedem gerechte Möglichkeiten bieten, zu zeigen, was er weiß und kann, unabhängig von seinem Hintergrund. Andererseits müssen wir Bewertungen als Lehrmittel nutzen, um Bewusstsein für die Lernenden nicht nur für ihre eigene Kultur und Werte, sondern auch für andere zu schaffen."