TOEFL iBT Hinter den Kulissen: Bewertung der Schreibprozesse der Studierenden in Echtzeit

In diesem Interview sprechen Ching-Ni Hsieh, Senior Measurement Scientist, und Renka Ohta, Senior Research Project Manager, über ihre aktuelle Forschung " Second Language Writing Processes in the TOEFL iBT® Test: Examining the Write for an Academic Discussion Task Using Eye-Tracking, Keystroke Logging, and Stimulated Recall" mit John Clark von TOEFL

Klar. Die schriftliche Antwort eines Schülers auf eine Schreibarbeit sagt uns, was er geschrieben hat, aber sie sagt nicht, wie er dorthin gekommen ist. Zwei Studierende können die gleichen Aufsatzbewertungen erhalten oder Antworten von ähnlicher Qualität liefern, aber sie können beim Schreiben sehr unterschiedliche Wege einschlagen.

Verhaltensdaten, wie Augenbewegungen und Tastaturereignisse, können einen Einblick in die Aufmerksamkeitsverteilung und Entscheidungsprozesse der Testteilnehmer bieten, die in den endgültigen schriftlichen Antworten unsichtbar sind.

In unserer Studie haben wir, während die Teilnehmer auf die TOEFL iBT Write for an Academic Discussion-Aufgabe (die wir mit dem reizvollen Akronym "WAD" gegeben haben) am Computer einen Tobii-Augentracker unter dem Monitor platziert, um ihre Augenbewegungen zu verfolgen.

Der Eye Tracker ist ein Gerät, das Sensortechnologie nutzt, um zu messen, wohin Autoren schauen und wie sich ihre Augen bewegen. Wir nutzten außerdem die Tobii Pro Lab Eye-Tracking-Software, um ein Video aufzuzeichnen und zu erstellen, das Schreibereignisse auf dem Bildschirm – wie geschriebene Texte und Mausklicks – mit überlagerten Augenbewegungen einbezog.

Die Eye-Tracking-Daten ermöglichten es uns zu sehen, wohin Autoren schauten, wie sich ihre Blicke veränderten, wie viel Zeit sie mit verschiedenen Teilen der Aufgabe verbrachten und wie sie ihre Texte überarbeiteten.

Wir nutzten die Tastenanschlag-Logging-Engine von ETS, um jede Aktivität auf der Tastatur zu erfassen, während jeder Autor tippte. Diese Daten werden dann in ein Tastenschlagprotokoll zusammengefasst, das reichhaltige Informationen über das Tastaturverhalten der Autoren enthält, einschließlich Pausen zwischen Wörtern oder Sätzen, Löschen geschriebener Texte oder Einfügen neuer Texte.

Nachdem die Teilnehmer fertig geschrieben hatten, haben wir sie interviewt. Wir sahen uns die Videoaufnahme der Tobii-Eye-Tracking-Software an, die die Schreibprozesse der Teilnehmer auf dem Bildschirm und Heatmaps zeigte, die zeigten, wohin ihre visuelle Aufmerksamkeit gerichtet war. Wir baten sie, während der Antwort auf die Aufgabe über ihre Gedanken zu sprechen, besonders in interessanten Momenten wie einer langen Pause oder einer Überarbeitung.

Wir stellten den Teilnehmern wann immer möglich Fragen in ihrer Erstsprache, damit sie ihre Gedanken leichter teilen konnten. Ihre Erklärungen halfen uns, ihre beobachtbaren Tastaturverhalten und Augenbewegungen mit den dahinterstehenden Denkprozessen zu verbinden.

Bei der Bewertung bezeichnet ein Konstrukt die Fähigkeiten oder Fertigkeiten, die ein Test messen soll. Die Konstruktvalidität fragt, ob ein Test diese beabsichtigten Fähigkeiten misst. Für den TOEFL iBT Writing-Abschnitt ist das Ziel akademische Schreibkompetenz.

Eine wichtige Quelle für Konstruktvaliditätsbelege ist, ob Prüflinge sich mit den Arten von Schreibprozessen beschäftigen, die für akademisches Schreiben relevant sind. Wenn Testteilnehmer hohe Ergebnisse erzielen könnten, indem sie hauptsächlich auf kognitive Prozesse oder Strategien zurückgreifen, die nichts mit der beabsichtigten akademischen Schreibfähigkeit zu tun haben, spiegeln die Testergebnisse möglicherweise nicht ihre akademische Schreibkompetenz genau wider.

Ja, unsere Ergebnisse liefern Belege, die die Konstruktvalidität der WAD-Aufgabe stützen. Über die Eye-Tracking-Daten, Tastenanschlagprotokolle und Interviewantworten hinweg beteiligten sich unsere Teilnehmer an Planung, Sprachformulierung, Überwachung und Überarbeitung. Diese Prozesse sind zentral für etablierte Schreibmodelle und relevant für die akademische Schreibkompetenz.

Diese Belege deuten darauf hin, dass die Aufgabe die beabsichtigten Schreibprozesse hervorruft, was die Interpretation stärkt, dass die TOEFL iBT Writing-Ergebnisse die akademischen Schreibfähigkeiten widerspiegeln, die der Test bewerten soll.

Kelloggs Modell ist eines der einflussreichsten kognitiven Modelle des Schreibens. Es beschreibt das Schreiben als eine Reihe interagierender Prozesse, einschließlich der Planung von Ideen, deren Übersetzung in Sprache, Textproduktion und Überprüfung des Geschriebenen. Das Modell wurde in früheren Studien zu TOEFL-iBT-Schreibaufgaben verwendet, daher betrachteten wir es als nützlichen Rahmenwerk, um zu untersuchen, ob die WAD-Aufgabe wichtige Schreibprozesse einbezieht.

Wir haben dieses Modell auch gewählt, weil es explizite Aufmerksamkeit auf die Formulierung legt, also auf den Prozess, Ideen in Worte und Sätze umzuwandeln. Dieser Aspekt ist besonders wichtig für TOEFL iBT-Testteilnehmer, die in einer zweiten oder fremden Sprache schreiben und möglicherweise erhebliche Aufmerksamkeit auf Vokabeln, Grammatik und Satzbau richten müssen.

Unsere Daten zeigten, dass die Teilnehmer während der gesamten WAD-Aufgabe an Planung, Sprachformulierung, Überwachung und Überarbeitung beteiligt waren. Viele Teilnehmer lasen und lasen die Aufforderung erneut, generierten Ideen, suchten nach passendem Vokabular, konstruierten Sätze, überprüften, ob ihre Antworten den Aufgabenanforderungen entsprachen, und nahmen Änderungen vor, um die Genauigkeit oder Klarheit zu verbessern. Diese Verhaltensweisen stimmen eng mit Kelloggs kognitivem Schreibmodell überein.

Unsere Ergebnisse hoben auch die rekursive Natur des Schreibens hervor. Die Teilnehmer haben diese Prozesse nicht einzeln oder als lineare Abfolge abgeschlossen. Stattdessen wechselten sie hin und her zwischen Lesen, Planen, Schreiben und Überarbeiten, was mit Kelloggs Sicht auf das Schreiben als dynamischen, interaktiven Prozess übereinstimmt.

Die WAD-Aufgabe unterscheidet sich von traditionellen Meinungsaufsätzen, wie etwa der ausgemusterten TOEFL iBT Independent Writing-Aufgabe, die sie ersetzte. Die Prüflinge müssen die Frage eines Professors lesen, zwei Antworten der Studierenden berücksichtigen, entscheiden, wie sie zur Online-Diskussion beitragen wollen, und innerhalb von 10 Minuten eine Antwort schreiben.

Diese Designmerkmale erfordern von den Prüflingen, ihre Aufmerksamkeit auf mehrere Informationsquellen zu verteilen und gleichzeitig eigene Ideen zu generieren und auszudrücken. Zum Beispiel zeigten unsere Eye-Tracking-Ergebnisse, dass die Teilnehmer ihre Aufmerksamkeit wiederholt zwischen den Eingabematerialien und dem Schreibbereich wechselten. In diesem Sinne stellt die Aufgabe besondere kognitive Anforderungen an die Prüflinge, indem sie von ihnen verlangt, Lesen, Planung, Schreiben und Selbstbeobachtung in einem dynamischen Online-Diskussionsformat zu koordinieren.

Diese Prozesse ähneln vielen Formen schriftlicher Kommunikation, denen Studierende in modernen akademischen Umgebungen begegnen können. Und die Aufgabe unterstützte auch verschiedene Reaktionsstrategien. In unseren Interviews erklärten einige Teilnehmer beispielsweise, dass sie versucht hätten, durch die Einführung einer neuen Idee beizutragen, die die beiden Studentenbeiträge nicht erwähnt hatten, während andere sich entschieden haben, den anderen Studierenden zuzustimmen und auf dem Gelesen aufzubauen.

Nein, es gibt keine richtige oder falsche Antwort basierend auf den spezifischen Ideen, die sie ausdrücken. Die WAD-Aufgabenbewertungsrubrik konzentriert sich auf Sprachgebrauch, Ideenentwicklung und darauf, wie klar und effektiv Testteilnehmer auf die Diskussion reagieren.

Prüflinge werden nicht danach bewertet, ob sie völlig neue Ideen einführen. Sie können auf den bereits in den Beispielantworten präsentierten Ideen aufbauen, solange sie sinnvoll beitragen und ihre Standpunkte klar ausdrücken. 

Prompt-Verarbeitung bezieht sich darauf, wie Autoren die Aufgabenmaterialien vor und während des Schreibens lesen, interpretieren und verwenden. Bei der WAD-Aufgabe gehört dazu, die Frage des Professors zu verstehen, die beiden Beispielbeiträge der Studierenden zu betrachten, zu entscheiden, wie der eigene Beitrag zur Diskussion passt, und manchmal die Aufgaben beim Schreiben erneut durchzugehen.

Eine interessante Erkenntnis aus unserer Studie ist, dass prompte Verarbeitung nicht nur zu Beginn der Aufgabe stattfand. Die Teilnehmer griffen im Verlauf des Schreibprozesses oft mehrfach auf die Aufgabenmaterialien zurück.

Wir kamen zu dem Schluss, dass prompte Verarbeitung nicht nur eine Vorarbeit ist; vielmehr fungiert sie als fortlaufender Teil der Planung und hilft dabei, andere Schreibentscheidungen zu leiten, wie die Auswahl relevanter Ideen, die Positionierung der eigenen Antwort und die Kontrolle, wie gut die Antwort die Aufgabenanforderungen erfüllt.

Dies ist eine der zentralen Herausforderungen bei der Bewertungsplanung. Wenn eine Aufgabe zu einfach ist, kann sie nicht genügend schreibbezogene Gedanken hervorrufen, um einen starken Nachweis für akademische Schreibfähigkeiten zu liefern. Wenn sie zu komplex ist, investieren die Prüflinge möglicherweise übermäßig viel Aufwand in das Verständnis der Fragestellung, sodass die Aufgabe eher das Leseverständnis oder die Interpretation der Aufgabe misst als die Schreibfähigkeit.

Unsere Ergebnisse legen nahe, dass effektive Prompts Autoren dazu einladen sollten, sich an wichtigen Kompositionsprozessen wie Planung, Formulierung, Überwachung und Überarbeitung zu beteiligen, dabei aber klar und zugänglich zu bleiben. Das Ziel ist es, Bewertungsaufgaben zu entwerfen, die es den Prüflingen ermöglichen, ihre Schreibfähigkeit zu demonstrieren, ohne unnötige Hindernisse oder konstruktirrelevante Schwierigkeiten zu verursachen.

Ergibt Sinn! Ich schätze diesen tiefgehenden Einblick in deine Forschung sehr – es macht Spaß zu sehen, wie viel Zeit und Energie in jede TOEFL iBT-Aufgabe geflossen ist.

Danke.