Dieses Papier berichtet über die Ergebnisse einer Feldstudie, die zur Entwicklung der neu gestalteten TOEIC-Brückentests beitrug. Die statistischen Analysen liefern erste Belege, die die Behauptungen stützen, dass die neu gestalteten TOEIC Bridge-Testergebnisse konsistent sind und dass Testergebnisse sinnvolle Indikatoren für Englischkompetenz von grundlegenden bis mittelstufigen Niveaus sind.

Weiterlesen

Dieses Papier fasst das "Validitätsargument" für die neu gestalteten TOEIC-Brückentests zusammen. Das Validitätsargument besteht aus vier Hauptbehauptungen über Score-Konsistenz, Validität und Fairness, angemessene Testnutzung und positive Auswirkungen; Zusammen ergibt dies eine kohärente Erzählung über die Messqualität und die vorgesehenen Anwendungen der Testergebnisse. Durch die Berücksichtigung der Behauptungen und unterstützenden Beweise im Validitätsargument sollten die Leser besser einschätzen können, ob die neu gestalteten TOEIC-Bridge-Tests für ihre Situation geeignet sind.

Weiterlesen

In groß angelegten, hochrisikoreichen Testprogrammen, wie dem TOEIC-Programm, legen einige Prüflinge einen Test mehr als einmal im Laufe der Zeit ab. Die Score-Change-Muster dieser sogenannten "Repeater" können analysiert werden, um die Gesamtqualität des Tests zu unterstützen (z. B. Zuverlässigkeit, Validität, beabsichtigte Anwendungen). Diese Studie untersuchte die oben genannten Score-Change-Muster mit dem Ziel, die Zuverlässigkeit und Validität der TOEIC^® Listening and Reading Testergebnisse zu bewerten.

Weiterlesen

Englischsprachige Kompetenztests sind für eine gezielte Testgruppe konzipiert und können Prüflinge aus unterschiedlichen demografischen, soziokulturellen und bildungsbezogenen Hintergründen einschließen. Der Test wird als fair angenommen und die von verschiedenen Untergruppen der Testteilnehmer erzielten Ergebnisse haben dieselbe Bedeutung. Eine Möglichkeit, die Testfairness zu bewerten, besteht darin, für jede Untergruppe einen verknüpften Test zu erstellen und die Testergebnisse des verknüpften Tests mit den Testergebnissen des ursprünglichen Tests zu vergleichen.

Weiterlesen

In der Regel werden menschliche Bewerter eingesetzt, um Sprech- und Schreibtests zu bewerten, da sie in der Lage sind, ein breiteres Spektrum an Sprachleistungen als automatisierte Systeme zu bewerten. Dieses Papier beschreibt, wie ETS die Zuverlässigkeit und Konsistenz der Ergebnisse menschlicher Bewerter für TOEIC-Sprech- und Schreibtests durch Schulungen, Zertifizierung sowie systematische administrative und statistische Überwachungsverfahren sicherstellt.

Weiterlesen

In Testprogrammen werden verschiedene Testformen über verschiedene Verwaltungen hinweg verwendet, um eine Überbelichtung von Testformen zu vermeiden und die Möglichkeit zu verringern, dass Prüflinge Vorwissen über den Testinhalt erwerben. Da in der statistischen Schwierigkeit der alternativen Formen leichte Unterschiede auftreten können, wurde häufig ein statistisches Verfahren namens Testergebnisverknüpfung verwendet, um diese Unterschiede in der Schwierigkeit zu korrigieren, sodass Testformen vergleichbar sind.

Weiterlesen

Der Bewertungsprozess für den TOEIC Listening and Reading Test beinhaltet Überwachungsverfahren, die sicherstellen, dass die Ergebnisse über verschiedene Formen und Testabläufe hinweg einheitlich sind und die Interpretationen der Fähigkeiten fair sind. Diese Studie untersucht die Möglichkeit, Informationen über den Hintergrund der Prüflinge zu nutzen, um verschiedene Arten von Überwachungsverfahren zu verbessern. Die Ergebnisse der Analysen deuteten darauf hin, dass einige Hintergrundvariablen die Überwachung der Testleistung über verschiedene Administrationen hinweg erleichtern könnten, wodurch die Qualitätskontrollverfahren für den TOEIC Listening and Reading Test sowie die Belege für die Konsistenz der Punktzahl gestärkt werden.

Weiterlesen

Für Bildungstests ist es entscheidend, die Konsistenz der Punktskalen zu wahren und die Ursachen der Variation der Punktzahlen über die Zeit zu verstehen. Dies trägt dazu bei, sicherzustellen, dass die Interpretationen über die Fähigkeiten der Prüflinge von einer Administration (oder Form) zur anderen vergleichbar sind. Mit statistischen Verfahren untersuchte diese Studie die Konsistenz der gemeldeten Ergebnisse für die TOEIC-Sprech- und Schreibtests.

Weiterlesen

Dieses Papier vergleicht den Inhalt, die Zuverlässigkeit und den Schwierigkeitsgrad der klassischen und 2006 neu gestalteten TOEIC Listening and Reading Tests. Obwohl die neu gestalteten Tests leicht unterschiedliche Aufgabentypen enthielten, um die aktuellen Sprachmodelle besser widerzuspiegeln, wurden die Tests als versionsübergreifend ähnlich bewertet.

Weiterlesen

Testprogramme sollten ihre Bewertungen regelmäßig überprüfen, um sicherzustellen, dass ihre Testpunkte oder Aufgaben gut mit den realen Aktivitäten übereinstimmen. Aus diesem Grund erweiterte ETS im Mai 2015 das bestehende Format einiger Aufgaben des TOEIC^® Speaking Test zur besseren Unterstützung des kommunikativen Spracherlernens und zur Entmutigung der Nutzung von Auswendiglernen und anderen Teststrategien.

Weiterlesen

Um sicherzustellen, dass die Tests weiterhin den Bedürfnissen der Testteilnehmer und Score-Nutzer entsprechen, ist es wichtig, dass Testprogramme ihre Bewertungen regelmäßig überprüfen. Aus diesem Grund wurde im Mai 2016 ein aktualisierter TOEIC-Hör- und Lesetest entwickelt, um mit der sich ständig verändernden Englischkenntnisse und der Art und Weise der Kommunikation im globalen Arbeitsplatz und Alltag Schritt zu halten.

Weiterlesen

Diese Studie untersucht die Konsistenz der TOEIC Speaking-Ergebnisse. Die Analyse verwendet eine Methodik, die auf der Generalisierbarkeitstheorie basiert und es Forschern ermöglicht, zu untersuchen, inwieweit Aspekte des Testverfahrens (z. B. Bewerter, Aufgaben) die Ergebnisse beeinflussen. Die Ergebnisse liefern Belege für die Behauptung, dass die TOEIC Speaking-Ergebnisse konsistent sind.

Weiterlesen

Dieses Papier beschreibt Verfahren, die bei den TOEIC-Sprech- und Schreibtests implementiert werden, um die Leistung einzelner Bewerter zu überwachen und die Gesamtqualität der Bewertung zu verbessern. Diese vielschichtigen, sorgfältig entwickelten Verfahren sorgen dafür, dass das Potenzial menschlicher Fehler auf ein Minimum beschränkt wird und so zur Konsistenz und Zuverlässigkeit der TOEIC-Tests beiträgt.

Weiterlesen

Die Zuverlässigkeit oder Konsistenz von Ergebnissen kann auf verschiedene Weise untersucht werden, einschließlich des Ausmaßes, in dem die Ergebnisse für denselben Testteilnehmer über verschiedene Testformen hinweg konsistent sind (sogenannte "Äquivalentformen-Zuverlässigkeit") und unterschiedlichen Testanlässen ("Test-Wiederholungs-Zuverlässigkeit"). Diese Studie untersuchte die Konsistenz der TOEIC-Sprech- und Schreibergebnisse über verschiedene Testformen zu unterschiedlichen Zeitintervallen (z. B. 1–30 Tage, 31–60 Tage) und stellte fest, dass die Testergebnisse eine relativ hohe äquivalente Formular-Test-Wiederholungszuverlässigkeit aufwiesen.

Weiterlesen

Dieses Papier berichtet über die Ergebnisse einer Pilotstudie, die zur Entwicklung von TOEIC Sprech- und Schreibtests beigetragen hat. Die Analyse der Zuverlässigkeit von Testergebnissen ergab Hinweise auf mehrere Arten von Score-Konsistenz, darunter Inter-Rater-Reliabilität (Übereinstimmung mehrerer Bewerter bei einem Score) und interne Konsistenz (ein Maß, das auf Korrelation zwischen Items desselben Tests basiert).

Weiterlesen

Dieses Papier beschreibt die Ergebnisse einer Feldstudie für die 2006 neu gestalteten TOEIC Listening and Reading Tests, die Analysen der Schwierigkeit von Aufgaben und Tests, Zuverlässigkeit und Korrelation zwischen Testabschnitten und klassischen TOEIC Listening and Reading Tests umfasst. Die Ergebnisse stimmen mit einer weiteren Vergleichsstudie überein (die von Liao, Hatrak und Yu im Jahr 2010), die Belege für die Zuverlässigkeit der neu gestalteten Tests fand und nahelegte, dass die Ergebnisse des neu gestalteten Tests ähnlich interpretiert und verwendet werden könnten wie klassische TOEIC-Hör- und Lesetestergebnisse.

Weiterlesen