Wie der e-Rater-Motor funktioniert

Beim Bewerten von Aufsätzen wird die e-Rater-Engine^® :

• Überprüfen Sie, dass die Features nicht nur die Punktzahl eines Lesers vorhersagen, sondern auch eine logische Relevanz für die Schreibaufforderung haben
• Antworten, die themenlos oder inkonsistent sind, markieren automatisch, damit sie zur Überprüfung beiseitegelegt werden können
• Kombinieren Sie die Bewertungsmerkmale eines statistischen Modells, um eine endgültige Wertschätzung zu erstellen

Die E-Rater-Engine wird ständig weiterentwickelt und verbessert, mit dem Ziel, ihre Fähigkeit zur Modellierung wichtiger und herausfordernder Aspekte der Schreibkompetenz zu erweitern. Die laufende Forschung zielt darauf ab, die Fähigkeiten der E-Rater-Engine zu verbessern, sodass sie die Struktur eines Arguments in einem Aufsatz erkennen und bewerten sowie den kreativen Sprachgebrauch im Schreiben von Studierenden und Prüflingen bewerten kann.

E-Rater-Funktionen

Die für e-Rater-Scoring verwendeten Features sind das Ergebnis von fast zwei Jahrzehnten Forschung zur Natural Language Processing am ETS, und jedes Merkmal kann aus eigenständigen Untermerkmalen bestehen. Es wurde auch daran gearbeitet, eine vertikal verknüpfte Skala der K–12-Schreibwerte über die Klassen hinweg auf Basis der e-Rater-Engine, bekannt als Developmental Writing Scale, zu etablieren.

Die aktuellen Funktionen der e-Rater-Bewertungs-Engine umfassen:

• Inhaltsanalyse basierend auf Vokabelmaßen
• Lexikalische Komplexität/Diktion
• Anteil von Grammatik-, Gebrauchs- und Mechanikfehlern
• Anteil der Stilkommentare
• Organisations- und Entwicklungswerte
• Belohnende idiomatische Phraseologie

Die Anpassung der Funktionen, um einem Aufsatz eine Gesamtpunktzahl zuzuweisen, kann auf eine bestimmte Aufgabe zugeschnitten oder auf "generische" Weise angepasst werden, sodass dasselbe E-Rater-Modell verwendet werden kann, um eine Vielzahl von Prompt-Antworten zu bewerten.

Punktevereinbarung

Für Aufgaben, die für die E-Rater-Engine geeignet sind (essaylange Schreibaufgaben, die nach Schreibqualität und nicht nach Korrektheit der in der Antwort gemachten Behauptungen bewertet werden), kann die Übereinstimmung mit menschlichen Bewertern sehr stark sein. Wie Attali, Bridgeman & Trapani 2010 feststellten, war die Zustimmung der E-Rater-Engine mit einem menschlichen Bewerter bei den TOEFL^® Independent und GRE^® Issue-Aufgaben höher als die Vereinbarung zwischen zwei unabhängigen menschlichen Bewertern.