Benutzerdefinierte Anwendungen für die e-Rater Scoring Engine

Um die E-Rater-Technologie^® zu nutzen, bietet ETS Schreibbewertungs- und Bewertungskompetenz für Institutionen an, die ETS-Bewertungstechnologie in ihre Kurse und Online-Dienste integrieren. Sie können standardisierte Schreib- und von Lehrkräften erstellte Aufgaben verwenden oder eigene entwickeln.

Wenn Sie die Standardaufgaben verwenden, die den ETS-Richtlinien folgen, werden die Essayantworten an die ETS-Notenmodelle eingereicht und erhalten eine ganzheitliche Bewertung.

Wenn Sie sich entscheiden, eigene maßgeschneiderte Schreibanregungen zu entwickeln, müssen Sie Aufsatzantworten zu diesen Eingaben sammeln, bewerten und an ETS senden, damit ein Bewertungsmodell erstellt und zertifiziert werden kann. ETS hilft Ihnen, die Aufgaben zu entwickeln und die Antworten zu bewerten, sodass ein individuelles Bewertungsmodell der E-Rater-Engine erstellt werden kann, indem die unten aufgeführten Anforderungen befolgt werden.

Themen entwickeln

• ETS-Experten können bei der Entwicklung maßgeschneiderter Aufsatzthemen helfen, die den nationalen, staatlichen oder Bezirksstandards entsprechen.
• ETS kann Ihnen fachkundige Beratung geben, während Sie eigene individuelle Themen entwickeln, Bewertungssitzungen durchführen und die Schreibpunktzahl analysieren.
• Oder ETS-Entwicklungsspezialisten können die Entwicklungsarbeit übernehmen und die Pretest-Bewertungssitzungen gemäß den Spezifikationen der Organisation durchführen.

Bewertungsaufsätze

• ETS kann Essay-Bewertungssitzungen durchführen und Bewertungsdaten für den individuellen Modellaufbau sammeln, wobei Bewertungsmethodik und Qualitätssicherungsverfahren integriert werden.
• Neben der Rekrutierung, Schulung und Überwachung von Lesern bietet ETS ein Online-Bewertungssystem an, das Dozenten und geschulte Leser nutzen können, um textbearbeitete Aufsatzantworten zu bewerten.
• Wenn die Bewertung abgeschlossen ist, können die Aufsatzdateien und die begleitenden Leserbewertungen an die Bewertungs-Engine für den automatisierten Modellbau übertragen werden.

Qualitätssicherung

• Bevor das Bewertungsmodell für ein Thema erstellt wird, wird die E-Rater-Technologie durch die Analyse von Aufsätzen zu diesem Thema trainiert.
• Aufsätze müssen von unabhängigen Lesern zwei Bewertungen erhalten, die konsistente und faire Bewertungsstandards angewendet haben.
• Der Pool der bewerteten Aufsätze muss außerdem die gesamte Bewertungsskala abbilden (zum Beispiel eine Skala von 1 bis 6), damit die e-Rater-Engine darauf trainiert werden kann, Aufsätze bei jedem der Punktepunkte zu erkennen.

Die Anforderungen des e-Rater-Motormodells

• Bewertungsstandarden, die in einem Bewertungsleitfaden klar definiert sind
• Ein Aufsatzthema, das die im Bewertungsleitfaden dargestellte Schreibaufgabe widerspiegelt
• Eine Schülerschaft, die identisch oder ähnlich der Bevölkerungsgruppe ist, die das Thema verwenden wird
• Zwei unabhängige Leserwertungen für jede Antwort auf den Aufsatz (die Leser müssen darin geschult sein, den Bewertungsleitfaden zu verwenden)
• Mindestens 350 Schülerantworten pro Thema in einer elektronischen Datei, die nach den ETS-Spezifikationen formatiert ist