TOEFL^® Essentials™ Assessment: Design und Entwicklung eines neuen Tests

16. Juni 2021

Jeder neue Test bei ETS wird durch einen sorgfältigen Design- und Entwicklungsprozess erstellt. Die neueste Ergänzung der ^{TOEFL-Assessment-Familie®} , der TOEFL^® Essentials-Test™, bildet da keine Ausnahme. Wie im Design Framework für den TOEFL^® Essentials™ Test 2021 dargelegt, ist der TOEFL Essentials-Test eine digital durchgeführte Englisch-Kompetenzbewertung, die darauf abzielt, die Effizienz zu maximieren und gleichzeitig die Fähigkeit der Testteilnehmer, auf Englisch zu kommunizieren, hervorhebt. Durch die Verwendung eines mehrstufigen adaptiven Testdesigns ermöglicht es zudem die Messung des gesamten Kompetenzbereichs des Gemeinsamen Europäischen Referenzrahmens. Hier heben wir die wichtigen Rollen hervor, die rigoroses Aufgabendesign und die Entwicklung von Expertentests bei der Entwicklung eines neuen Tests spielen.

Der Ansatz von ETS zur Gestaltung von Bewertungsaufgaben

Die Aufgaben, die den neuen TOEFL Essentials-Test ausmachen, wurden auf aufgabenbasierten Prinzipien entworfen, um herauszufinden, was die Testteilnehmer auf Englisch können  , anstatt nur ihre Sprachkenntnisse. Dies ist besonders wichtig, wenn wir einen solchen Test nutzen, um vorherzusagen, wie erfolgreich die Testteilnehmer in der realen Welt sein werden, in der sie effektiv auf Englisch kommunizieren müssen.

Nehmen wir Schreibaufgaben aus dem TOEFL Essentials-Test, um unseren Ansatz zur Gestaltung von Bewertungsaufgaben zu veranschaulichen. Die Schreibaufgaben sind darauf ausgelegt, den Prüflingen einen Zweck und ein Publikum für das Schreiben zu geben und gleichzeitig das widerzuspiegeln, was Prüflingen in der realen Welt begegnen. Zum Beispiel ist das Schreiben von ein oder zwei Sätzen, um ein Bild zu beschreiben, eine ziemlich typische Testaufgabe, die keinen Zweck oder Publikum hat. Die gleiche Bildbeschreibungsaufgabe wird viel ansprechender und bedeutungsvoller, wenn die Prüflinge sich vorstellen, das Bild auf ihrem eigenen Social-Media-Konto zu posten und eine ausführliche Beschreibung ihrer verwandten Erfahrungen zu schreiben. Solche Aufgaben können uns viel darüber verraten, was die Prüflinge auf Englisch leisten können.

Diese Schreibaufgaben sind außerdem so konzipiert, dass sie die Schreibfähigkeiten der Testteilnehmer auf unterschiedlichen Kompetenzstufen maximal einschätzen. So zeigt Forschung, dass die Aufgabe Social Media Post effektiv zwischen Lernenden auf Anfangsniveaus unterscheidet. Ihre Wirksamkeit ist jedoch bei Prüflingen auf höheren Kompetenzniveaus begrenzt, da sie wahrscheinlich alle gut abschneiden können. Für diese Lernenden mit höherer Leistungsfähigkeit ist die akademische Diskussionsaufgabe viel effektiver, da sie die Prüflinge herausfordert, indem sie anspruchsvollere Sprachkenntnisse (z. B. Wortschaber, Grammatik, Diskursmarker) benötigt, um die Aufgabe erfolgreich zu erfüllen, und dadurch ihre Fähigkeiten dazu unterscheidet. Insgesamt sind die Schreibaufgaben (und andere Aufgaben) im TOEFL Essentials-Test darauf ausgelegt, herauszufinden, was Testteilnehmer auf Englisch leisten können, einen klaren Kontext und Zweck für die Kommunikation auf Englisch zu bieten und maximale Unterscheidung zwischen Lernenden auf unterschiedlichen Leistungsniveaus zu ermöglichen. All diese Funktionen optimieren die Effektivität des Tests und unterstützen genaue Interpretationen der Englischkenntnisse der Prüflingen.

Nutzung führender Expertise in der Bewertungsentwicklung

Unter Anwendung dieser Designprinzipien haben Assessment-Spezialisten bei ETS neue Aufgaben zu den vier Fähigkeiten (Hören, Lesen, Schreiben und Sprechen) entwickelt, die im TOEFL Essentials-Test bewertet werden. So wie der Designprozess mehrstufig war (d. h. Prototyp-, Pilottest und Feldtest), umfasst die Entwicklung des neuen Testinhalts auch einen komplexen, mehrstufigen Prozess. Das übergeordnete Ziel dieses Entwicklungsprozesses ist sicherzustellen, dass die generierten Inhalte den Qualitäts- und Fairnessstandards von ETS entsprechen und zu Testerfahrungen führen, die in Inhalt, Schwierigkeit und Engagement ähnlich sind.

Assessment-Spezialisten stehen im Zentrum dieses Prozesses und leiten ihn von Anfang bis Ende. Assessment-Spezialisten, Schlüsselmitglieder des TOEFL Essentials Testteams, sind Experten auf ihrem Gebiet, die auf Universitätsebene im Spracherwerb oder verwandten Fächern ausgebildet wurden, und die Mehrheit von ihnen hat an K–12-Schulen, Hochschulen oder Universitäten international unterrichtet. Viele Assessment-Spezialisten sind selbst Englisch-Lernende und haben einen Graduiertenabschluss an Universitäten erworben, an denen Englisch die Unterrichtssprache ist.

Während des gesamten Content-Entwicklungsprozesses folgen Assessment-Spezialisten detaillierten Spezifikationen. Diese Spezifikationen werden während der Testdesignphase erstellt und für die Erstellung und Überprüfung jeder einzelnen Aufgabe oder jedes einzelnen Punkts im Test verwendet. Beispielsweise enthalten die Schreibaufgaben im TOEFL Essentials-Test klare Vorgaben bezüglich Art und Länge der Texte, Anweisungen an den Testteilnehmer, verwendete Audio, Grafiken und Fotos. Nachdem die Testaufgaben verfasst wurden, erhalten sie mehrere gründliche Bewertungen von verschiedenen Bewertungsspezialisten sowie separate redaktionelle und fairness-Reviews.

Integration von Technologien zur Bewertungsentwicklung

Eine breite Palette modernster technologischer Werkzeuge wird eingesetzt, um den Testentwicklungsprozess zu unterstützen und effizienter zu machen. So wird beispielsweise von Bewertungsspezialisten eine umfassende Plattform genutzt, um Aufgaben zu generieren, zu überprüfen und zu speichern. Für einige Item-Typen nutzen Bewertungsspezialisten auch eine proprietäre technologische Funktion, die Technology Assisted Item Creation (TAIC) genannt wird, um den Item-Entwicklungsprozess zu erleichtern. TAIC integriert Aufgabeninhaltsspezifikationen und Schwierigkeitsparameter, die speziell für den TOEFL Essentials-Test entwickelt wurden. Es ist jedoch wichtig zu beachten, dass nach der Generierung der Inhalte dieser Aufgaben durch TAIC der Prüfer der strenge, mehrstufige Überprüfungsprozess durchläuft, der von den Bewertungsspezialisten durchgeführt wird, um sicherzustellen, dass die entwickelten Aufgaben den ETS-Standards und Erwartungen entsprechen, bevor sie einem Testteilnehmer präsentiert werden.

Diese sorgfältigen und rigorosen Design- und Entwicklungspraktiken machen den neuen TOEFL Essentials-Test zu einem gültigen und zuverlässigen Test, der vertrauenswürdige Informationen über die Fähigkeit der Testteilnehmer liefert, Englisch für Kommunikationszwecke zu verwenden.

Um mehr über den neuen TOEFL Essentials-Test zu erfahren, besuchen Sie https://www.ets.org/toefl/score-users/essentials/about.html

Pablo Garcia Gomez ist Assessment Designer bei ETS. Shoko Sasayama ist Associate Research Scientist am ETS.