TOEFL iBT Hinter den Kulissen: Bewertung der Schreibprozesse der Studierenden in Echtzeit

In diesem Interview sprechen Ching-Ni Hsieh, Senior Measurement Scientist, und Renka Ohta, Senior Research Project Manager, über ihre aktuelle Forschung "Second Language Writing Processes in the TOEFL iBT® Test: Examining the Write for an Academic Discussion Task Using Eye-Tracking, Keystroke Logging, and Stimulated Recall" mit John Clark von TOEFL.

Sicher. Die schriftliche Antwort eines Schülers auf eine Schreibaufgabe sagt uns, was er geschrieben hat, aber sie sagt nicht, wie er dorthin gekommen ist. Zwei Studierende können die gleichen Essay-Bewertungen erhalten oder Antworten mit ähnlicher Qualität liefern, aber sie können beim Schreiben sehr unterschiedliche Wege einschlagen.

Verhaltensdaten, wie Augenbewegungen und Tastaturereignisse, können einen Einblick in die Aufmerksamkeitsverteilung und Entscheidungsprozesse der Testteilnehmer bieten, die in den endgültigen schriftlichen Antworten unsichtbar sind.

In unserer Studie haben wir, während die Teilnehmer auf die TOEFL iBT Write for an Academic Discussion-Aufgabe (die wir mit dem reizvollen Akronym "WAD" gegeben haben) am Computer einen Tobii-Augentracker unter dem Monitor platziert, um ihre Augenbewegungen zu verfolgen.

Der Eye-Tracker ist ein Gerät, das Sensortechnologie nutzt, um zu messen, wohin Autoren schauen und wie sich ihre Augen bewegen. Wir haben außerdem die Tobii Pro Lab-Eye-Tracking-Software verwendet, um ein Video aufzuzeichnen und zu erstellen, das Schreibereignisse auf dem Bildschirm – wie geschriebene Texte und Mausklicks – mit überlagerten Augenbewegungen integriert.

Die Eye-Tracking-Daten ermöglichten es uns zu sehen, wohin Autoren schauten, wie sich ihre Blicke veränderten, wie viel Zeit sie mit verschiedenen Teilen der Aufgabe verbrachten und wie sie ihre Texte überarbeiteten.

Wir nutzten die Tastendruck-Logging-Engine von ETS, um jede Aktivität auf der Tastatur während des Tippens aufzuzeichnen. Diese Daten werden dann zu einem Tastendruckprotokoll zusammengefasst, das reichhaltige Informationen über das Tastaturverhalten der Autoren enthält, einschließlich Pausen zwischen Wörtern oder Sätzen, Löschen geschriebener Texte oder Einfügen neuer Texte.

Nachdem die Teilnehmer fertig geschrieben hatten, haben wir sie interviewt. Wir haben uns die Videoaufnahme der Tobii-Eye-Tracking-Software angesehen, die die Schreibprozesse der Teilnehmer auf dem Bildschirm und Heatmaps zeigt, die zeigen, wohin ihre visuelle Aufmerksamkeit gerichtet ist. Wir baten sie, während der Reaktion auf die Aufgabe zu sprechen, was sie denken, besonders in interessanten Momenten wie einer langen Pause oder einer Überarbeitung.

Wir stellten den Teilnehmern wann immer möglich Fragen in ihrer Erstsprache, damit sie ihre Gedanken leichter teilen konnten. Ihre Erklärungen halfen uns, ihr beobachtbares Tastaturverhalten und ihre Augenbewegungen mit den dahinterstehenden Denkprozessen zu verbinden.

Bei der Bewertung bezieht sich ein Konstrukt auf die Fähigkeiten oder Fertigkeiten, die ein Test messen soll. Die Konstruktvalidität fragt, ob ein Test diese beabsichtigten Fähigkeiten misst. Für den TOEFL iBT Writing-Abschnitt ist das Zielkonstrukt die akademische Schreibkompetenz.

Eine wichtige Quelle für Konstruktvaliditätsbelege ist, ob Prüflinge sich mit den Arten von Schreibprozessen auseinandersetzen, die für akademisches Schreiben relevant sind. Wenn Testteilnehmer hohe Ergebnisse erzielen könnten, indem sie sich hauptsächlich auf kognitive Prozesse oder Strategien verlassen, die nichts mit der beabsichtigten akademischen Schreibfähigkeit zu tun haben, dann spiegeln die Testergebnisse möglicherweise nicht genau ihre akademische Schreibkompetenz wider.

Ja, unsere Ergebnisse liefern Belege für die Konstruktvalidität der WAD-Aufgabe. Über die Eye-Tracking-Daten, Tastenanschlagprotokolle und Interviewantworten hinweg beteiligten sich unsere Teilnehmer an Planung, Sprachformulierung, Überwachung und Überarbeitung. Diese Prozesse sind zentral für etablierte Schreibmodelle und relevant für die akademische Schreibkompetenz.

Diese Belege deuten darauf hin, dass die Aufgabe die beabsichtigten Schreibprozesse hervorruft, was die Interpretation stärkt, dass die TOEFL iBT Writing-Ergebnisse die akademischen Schreibfähigkeiten widerspiegeln, die der Test bewerten soll.

Kelloggs Modell ist eines der einflussreichsten kognitiven Schreibmodelle. Es beschreibt das Schreiben als eine Reihe interagierender Prozesse, einschließlich der Planung von Ideen, deren Übersetzung in Sprache, Textproduktion und Überprüfung des Geschriebenen. Das Modell wurde in früheren Studien zu TOEFL iBT-Schreibaufgaben verwendet, daher betrachteten wir es als nützlichen Rahmen, um zu untersuchen, ob die WAD-Aufgabe wichtige Schreibprozesse einbindet.

Wir haben dieses Modell auch gewählt, weil es explizite Aufmerksamkeit auf die Formulierung legt, also auf den Prozess, Ideen in Wörter und Sätze umzuwandeln. Dieser Aspekt ist besonders wichtig für TOEFL iBT-Testteilnehmer, die in einer Zweit- oder Fremdsprache schreiben und möglicherweise erhebliche Aufmerksamkeit auf Wortschatz, Grammatik und Satzbau richten müssen.

Unsere Daten zeigten, dass die Teilnehmer während der gesamten WAD-Aufgabe an Planung, Sprachformulierung, Überwachung und Überarbeitung beteiligt waren. Viele Teilnehmer lasen und lasen den Prompt erneut, generierten Ideen, suchten nach passendem Vokabular, konstruierten Sätze, überprüften, ob ihre Antworten den Aufgabenanforderungen entsprachen, und nahmen Änderungen vor, um Genauigkeit oder Klarheit zu verbessern. Diese Verhaltensweisen stimmen eng mit Kelloggs kognitivem Schreibmodell überein.

Unsere Ergebnisse hoben auch die rekursive Natur des Schreibens hervor. Die Teilnehmer haben diese Prozesse nicht einzeln oder als lineare Abfolge abgeschlossen. Stattdessen wechselten sie zwischen Lesen, Planung, Schreiben und Überarbeitung, was mit Kelloggs Sichtweise des Schreibens als dynamischen, interaktiven Prozess übereinstimmt.

Die WAD-Aufgabe unterscheidet sich von traditionellen Meinungsaufgaben, wie etwa der emeritierten TOEFL iBT Independent Writing-Aufgabe, die sie ersetzt hat. Prüflinge müssen die Frage eines Professors lesen, zwei Antworten der Studierenden prüfen, entscheiden, wie sie zur Online-Diskussion beitragen möchten, und innerhalb von 10 Minuten eine Antwort schreiben.

Diese Designmerkmale erfordern von den Prüflingen, ihre Aufmerksamkeit auf mehrere Informationsquellen zu verteilen und gleichzeitig eigene Ideen zu generieren und auszudrücken. Zum Beispiel zeigten unsere Eye-Tracking-Ergebnisse, dass die Teilnehmer ihre Aufmerksamkeit wiederholt zwischen den Eingabematerialien und dem Schreibbereich wechselten. In diesem Sinne stellt die Aufgabe besondere kognitive Anforderungen an die Prüflinge, indem sie Lesen, Planung, Schreiben und Selbstüberwachung innerhalb eines dynamischen Online-Diskussionsformats koordinieren müssen.

Diese Prozesse ähneln vielen Formen schriftlicher Kommunikation, denen Studierende in modernen akademischen Umgebungen begegnen können. Und die Aufgabe unterstützte auch verschiedene Reaktionsstrategien. In unseren Interviews erklärten einige Teilnehmer beispielsweise, dass sie versuchten, durch die Einführung einer neuen Idee beizutragen, die die beiden Beiträge der Studierenden nicht erwähnt hatten, während andere sich entschieden hatten, mit den anderen Studierenden zuzustimmen und auf dem Gelesen aufzubauen.

Nein, es gibt keine richtige oder falsche Antwort basierend auf den spezifischen Ideen, die sie ausdrücken. Die WAD-Aufgabenbewertungsrubrik konzentriert sich auf Sprachgebrauch, Ideenentwicklung und wie klar und effektiv die Testteilnehmer auf die Diskussion reagieren.

Testteilnehmer werden nicht danach bewertet, ob sie völlig neue Ideen einführen. Sie können auf den bereits in den Beispielantworten präsentierten Ideen aufbauen, solange sie sinnvoll beitragen und ihre Standpunkte klar ausdrücken. 

Prompt-Verarbeitung bezieht sich darauf, wie Autoren die Aufgabenmaterialien vor und während des Schreibens lesen, interpretieren und verwenden. Bei der WAD-Aufgabe gehört dazu, die Frage des Professors zu verstehen, die beiden Beispielbeiträge von Studierenden zu betrachten, zu entscheiden, wie der eigene Beitrag zur Diskussion passt, und manchmal die Themenmaterialien beim Verfassen erneut zu betrachten.

Eine interessante Erkenntnis aus unserer Studie ist, dass die prompte Verarbeitung nicht nur zu Beginn der Aufgabe stattfand. Die Teilnehmer griffen während des Schreibprozesses oft mehrfach zu den Prompt-Materialien zurück.

Wir kamen zu dem Schluss, dass prompte Verarbeitung nicht nur eine Vorab-Aktivität ist; vielmehr fungiert sie als fortlaufender Teil der Planung und hilft dabei, andere Schreibentscheidungen zu leiten, wie die Auswahl relevanter Ideen, die Positionierung der eigenen Antwort und die Kontrolle, wie gut die Antwort die Aufgabenanforderungen erfüllt.

Dies ist eine der zentralen Herausforderungen bei der Bewertungsplanung. Wenn eine Aufgabe zu einfach ist, kann sie nicht genügend schreibbezogenes Nachdenken hervorrufen, um einen starken Nachweis für akademische Schreibfähigkeiten zu liefern. Ist sie zu komplex, können die Prüflinge übermäßig viel Aufwand darauf verwenden, die Aufgabe zu verstehen, sodass die Aufgabe eher das Leseverständnis oder die Interpretation der Aufgabe als die Schreibfähigkeit misst.

Unsere Ergebnisse legen nahe, dass effektive Prompts Autoren dazu einladen sollten, sich an wichtigen Schreibprozessen wie Planung, Formulierung, Überwachung und Überarbeitung zu beteiligen, während sie klar und zugänglich bleiben. Das Ziel ist es, Bewertungsaufgaben zu entwerfen, die es den Prüflingen ermöglichen, ihre Schreibfähigkeit zu demonstrieren, ohne unnötige Hindernisse oder konstruktirrelevante Schwierigkeiten zu verursachen.

Danke.