Testvalidität durch Design: Ein Rahmenwerk für den TOEFL® Essentials™ Test
2. Juni 2021
Wie kann ein Test sowohl ein gültiges als auch ein zuverlässiges Maß für die Englischkompetenz sein und gleichzeitig den Testteilnehmern ein schülerfreundliches, bequemes Testerlebnis bieten? Mit Absicht. Der kürzlich eingeführte TOEFL® Essentials-Test™ wurde speziell entwickelt, um die ideale Kombination zu bieten – die qualitativ hochwertige Institutionen vertrauen, und den erschwinglichen Zugang der Testteilnehmer wünschen. Obwohl das Angebot gültiger und verlässlicher Informationen kein neues Konzept ist, erreicht der kürzlich veröffentlichte Test dies in kurzer Testzeit zu einem erschwinglichen Preis, in einem Format, das für Testteilnehmer freundlich und ansprechend sein soll. Mit der Einführung des neuen Tests folgt eine 50-seitige Publikation, Design Framework for the TOEFL® Essentials™ Test 2021 (PDF), die den Inhalt des Tests und seine Bewertungsverfahren darstellt und eine detaillierte Forschungsagenda zur Unterstützung der Noten präsentiert.
Wie der Rahmen die Validität von Testergebnissen unterstützt
Der Designrahmen des Tests wird veröffentlicht, um Institutionen zu zeigen, dass sie dem TOEFL Essentials-Test aufgrund seines innovativen Ansatzes im Testdesign vertrauen können. Das Design des TOEFL Essentials-Tests ist das Ergebnis der Zusammenarbeit zwischen den Sprachlernforschern, Inhaltsentwicklern, Psychometrikern und geschäftsorientierten Führungskräften des TOEFL-Programms® . Er wurde auch durch umfangreiche Marktforschungen informiert, darunter fast 250 Nutzer von Institutionen in den USA, Kanada und Großbritannien sowie über 7.000 Testteilnehmer weltweit.
Der neue Test umfasst Aufgaben, die mit Tausenden von Testteilnehmern weltweit pilotgetestet wurden, und deckt zwei zentrale Dimensionen der Sprachkompetenz ab: grundlegende Aspekte der Sprachkompetenz und aufgabenbasierte kommunikative Sprachkompetenz in akademischen und alltäglichen Kontexten. Durch die Kombination dieser Schlüsseldimensionen misst der TOEFL Essentials-Test, was Testteilnehmer mit Englisch leisten können, nicht nur ihr Englischwissen. Im Gegensatz zu den eingeschränkten und inauthentischen Aufgaben anderer Sprachtests, die von zu Hause aus durchgeführt werden, sind die Aufgaben im TOEFL Essentials-Test darauf ausgelegt, direkte Informationen darüber zu geben, wie erfolgreich die Testteilnehmer in der realen Welt sein werden. Zum Beispiel müssen Testteilnehmer zu einem akademisch fokussierten Gespräch beitragen oder an ihre Professoren und Freunde schreiben.
Neben seinem Ansatz für das Testdesign verfügt TOEFL Essentials auch über eine innovative mehrstufige adaptive Testmethodik. Diese Methodik ermöglicht eine effiziente Messung der Sprachkompetenz, indem die Hör-, Lese- und Schreibabschnitte in zwei Teilen verwaltet werden, um besser zur individuellen Sprachkompetenz der Testteilnehmer zu passen. Der erste Teil enthält Testaufgaben mit durchschnittlichem Schwierigkeitsgrad, und die Antworten auf diesen Teil bestimmen, wie schwierig die Aufgaben im zweiten Teil sein werden. Im Gegensatz zu Tests zu Hause, die auf Adaptivität "on the fly" setzen, ermöglicht uns die mehrstufige adaptive Methodik des TOEFL Essentials-Tests, robuste Kommunikationsaufgaben zu liefern, die für jede Stufe von Experten zusammengestellt und auf das Kompetenzniveau des Prüfers ausgerichtet sind.
Ein Forschungsvermächtnis
Der Designrahmen des Tests nennt zahlreiche Gründe, warum Nutzer dem Test vertrauen können, zusätzlich zu seiner Validitätsbelege. Mit umfassenden Sicherheitsverfahren, transparenten Score-Informationen und der Einbindung einer persönlichen Video-Erklärung machen diese Elemente den TOEFL Essentials-Test zu einem vertrauenswürdigen und testfreundlichen Test, um ihre Englischkenntnisse zu demonstrieren. Seit mehr als 50 Jahren wird die TOEFL Family of Assessments durch hochwertige, gründliche Forschung gestützt, und der TOEFL Essentials-Test bildet da keine Ausnahme. Wie alle anderen Tests der TOEFL-Bewertungsfamilie steuert das Forschungsprogramm für den TOEFL Essentials-Test alle Phasen der Testentwicklung, der Score-Interpretation und der Nutzung von Punkten voran. Das Forschungsprogramm verfolgt einen argumentbasierten Ansatz zur Testvalidierung und wird in einer Reihe von Fragen präsentiert, die die empirischen Evidenz bestimmen, die gesammelt werden sollten. Dieses Forschungsprogramm wird vom TOEFL Committee of Examiners (COE) überwacht, einem Gremium von 11 Experten aus aller Welt, von denen jeder professionelle Anerkennung in einem akademischen Bereich erlangt hat, der sich mit dem Lehren, Lernen und Testen von Englisch als Zweit- oder Fremdsprache befasst.
Um mehr über den TOEFL Essentials-Test zu erfahren, besuchen Sie https://www.ets.org/toefl/score-users/essentials/about.html.
Spiros Papageorgiou ist leitender Senior Research Scientist bei ETS.