Dieses Papier beschreibt die Motivationen hinter dem Design der neu gestalteten TOEIC Bridge-Tests zur Messung aller vier Kommunikationsfähigkeiten, die Zwecke der Tests und wie wir die englischsprachige Hör-, Les-, Sprech- und Schreibkompetenz im Alltag für Lernende von Basis- bis mittlerer Stufe definiert haben. Diese Informationen bilden die Grundlage für die Testentwicklung und die anschließende Validitätsforschung.

Weiterlesen

Die neu gestalteten TOEIC-Brückentests wurden mit einer Bewertungsmethodik namens evidenzzentriertes Design (ECD) entwickelt. Dieses Papier dokumentiert, wie ECD zur Gestaltung von Aufgaben eingesetzt wurde, die Belege für die Englischkompetenz der Testteilnehmer auf grundlegendem bis mittlerem Niveau lieferten, und wie verschiedene Datenquellen, die während des Testentwicklungsprozesses gewonnen wurden, die Entscheidungen des Item- und Testdesigns beeinflussten.

Weiterlesen

Dieses Papier berichtet über die Ergebnisse einer Feldstudie, die zur Entwicklung der neu gestalteten TOEIC-Brückentests beitrug. Die statistischen Analysen liefern erste Belege, die die Behauptungen stützen, dass die neu gestalteten TOEIC Bridge-Testergebnisse konsistent sind und dass Testergebnisse sinnvolle Indikatoren für Englischkompetenz von grundlegenden bis mittelstufigen Niveaus sind.

Weiterlesen

Dieses Papier beschreibt zwei Studien, die den Zusammenhang zwischen neu gestalteten TOEIC-Bridge-Testergebnissen und Selbstbewertungen der Sprachkompetenz untersuchten. Die Ergebnisse liefern Belege für die Behauptung, dass Testergebnisse sinnvolle Indikatoren für Sprachkompetenz sind und dass Testergebnisse genutzt werden können, um Sprachkompetenzniveaus wie dem Gemeinsamen Europäischen Referenzrahmen für Sprachen (CEFR) sinnvoll zu differenzieren.

Weiterlesen

Diese Studie untersuchte, ob die TOEIC-Sprachtestergebnisse^® gute Prädiktoren für die kommunikative Effektivität der Testteilnehmer sind, wie sie von Fachleuten am internationalen Arbeitsplatz beurteilt werden. Fachleute aus 10 Ländern nahmen an einer Umfrage teil, in der sie die kommunikative Effektivität der Testteilnehmer in verschiedenen kommunikativen Szenarien bewerteten. Die Ergebnisse liefern Hinweise darauf, dass die TOEIC-Sprachtestergebnisse eine sinnvolle Bewertung der Kompetenz darstellen, die mit der Wahrnehmung kommunikativer Effektivität von Fachkräften vergleichbar ist.

Weiterlesen

Diese Studie untersuchte, ob die TOEIC-Schreibtestergebnisse gute Prädiktoren für die "funktionale Angemessenheit" (oder kommunikative Effektivität) der Schreibfähigkeiten der Testteilnehmer sind, wie sie von Fachleuten am internationalen Arbeitsplatz beurteilt werden. Fachleute aus 10 Ländern nahmen an einer Umfrage teil, in der sie die funktionale Angemessenheit des Schreibverhaltens der Testteilnehmer in verschiedenen kommunikativen Situationen bewerteten. Die Ergebnisse liefern Hinweise darauf, dass die TOEIC-Schreibtestergebnisse eine sinnvolle Bewertung der Kompetenz darstellen, die mit der Wahrnehmung der funktionalen Angemessenheit des Schreibens durch Fachleute vergleichbar ist.

Weiterlesen

Dieses Papier fasst das "Validitätsargument" für die neu gestalteten TOEIC-Brückentests zusammen. Das Validitätsargument besteht aus vier Hauptbehauptungen über Score-Konsistenz, Validität und Fairness, angemessene Testnutzung und positive Auswirkungen; Zusammen ergibt dies eine kohärente Erzählung über die Messqualität und die vorgesehenen Anwendungen der Testergebnisse. Durch die Berücksichtigung der Behauptungen und unterstützenden Beweise im Validitätsargument sollten die Leser besser einschätzen können, ob die neu gestalteten TOEIC-Bridge-Tests für ihre Situation geeignet sind.

Weiterlesen

Dieses Papier bietet einen nicht-technischen Überblick über die Testentwicklung und Forschungsprojekte, die durchgeführt werden, um sicherzustellen, dass TOEIC-Testergebnisse als gültige Indikatoren für die Fähigkeiten der Testteilnehmer dienen, in globalen Arbeitsumgebungen auf Englisch zu kommunizieren.

Der Hauptwert der TOEIC-Tests liegt in ihrer Validität, die als das Ausmaß definiert werden kann, in dem die Tests das tun, was wir behaupten.

Weiterlesen

Durch die Analyse der Testergebnisse ergab diese Studie, dass die TOEIC-Tests unterschiedliche, aber verwandte Fähigkeiten messen und zusammen ein relativ vollständiges Bild der Englischkenntnisse liefern. Dieses Ergebnis liefert zusätzliche Hinweise darauf, dass ein Vier-Fähigkeiten-Ansatz zur Sprachkompetenzbewertung entscheidend ist.

Weiterlesen

Englischsprachige Kompetenztests sind für eine gezielte Testgruppe konzipiert und können Prüflinge aus unterschiedlichen demografischen, soziokulturellen und bildungsbezogenen Hintergründen einschließen. Der Test wird als fair angenommen und die von verschiedenen Untergruppen der Testteilnehmer erzielten Ergebnisse haben dieselbe Bedeutung. Eine Möglichkeit, die Testfairness zu bewerten, besteht darin, für jede Untergruppe einen verknüpften Test zu erstellen und die Testergebnisse des verknüpften Tests mit den Testergebnissen des ursprünglichen Tests zu vergleichen.

Weiterlesen

Um die Bedeutung von Testergebnissen besser zu verstehen und Entscheidungsfindung zu erleichtern, müssen Score-Nutzer möglicherweise verstehen, wie die Ergebnisse zweier verschiedener Tests miteinander zusammenhängen. Die Beziehung zwischen den Ergebnissen aus zwei verschiedenen Tests wird typischerweise in einer "Konkordanztabelle" zusammengefasst, die die Entsprechung zwischen den Ergebnissen der beiden Tests angibt. Leider werden einige Konkordanztabellen ohne jegliche Forschungsunterschiede erstellt und verteilt, was zu ungenauen und unfairen Entscheidungen über Testteilnehmer führen kann.

Weiterlesen

Diese Studie verwendete eine statistische Methode namens "Faktorenanalyse", um zu bestimmen, welches statistische Modell die Leistung im TOEIC-Hör- und Lesetest am besten erklärte. Die Forscher fanden heraus, dass ein Modell (Zwei-Faktoren-Modell), in dem Lese- und Hörfähigkeiten als unterschiedliche Fähigkeiten dargestellt wurden, am besten die Leistung erklärte und damit übereinstimmte, wie Punktzahlen interpretiert werden sollten.

Weiterlesen

In Testprogrammen werden verschiedene Testformen über verschiedene Verwaltungen hinweg verwendet, um eine Überbelichtung von Testformen zu vermeiden und die Möglichkeit zu verringern, dass Prüflinge Vorwissen über den Testinhalt erwerben. Da in der statistischen Schwierigkeit der alternativen Formen leichte Unterschiede auftreten können, wurde häufig ein statistisches Verfahren namens Testergebnisverknüpfung verwendet, um diese Unterschiede in der Schwierigkeit zu korrigieren, sodass Testformen vergleichbar sind.

Weiterlesen

Traditionell haben Forscher den Begriff "Authentizität" verwendet, um das Ausmaß zu bezeichnen, in dem Aufgaben bei einem Sprachtest denen aus der realen Welt entsprechen, wobei Authentizität ein gewünschtes Merkmal von Aufgaben und Tests ist. Dieses Whitepaper erklärt, wie das Format mehrerer Fragen im TOEIC Speaking-Test erweitert wurde, um eine größere Vielfalt realer Situationen einzubeziehen.

Weiterlesen

Dieses Papier erklärt, wie ein Vier-Fähigkeiten-Sprachtest der beste Weg ist, um zu bewerten, ob jemand auf Englisch kommunizieren kann, und erklärt, wie dieser Ansatz folgendes tun kann:

• führt zu einer gerechteren Art der Bewertung für die Testteilnehmer
• Verbesserung der Qualität der Entscheidungen der Testnutzer
• Schaffen Sie einen positiveren Einfluss für Entscheidungsträger, Lehrer und Lernende

Weiterlesen

Der TOEIC-Hörtest umfasst Aufgaben oder Aufgaben, die mit dem globalen Arbeitsplatz und einer Vielzahl authentischer Kontexte zu tun haben. Da der Bedarf an immer größeren Testformularen gestiegen ist, war ein wichtiges Ziel für den TOEIC-Listening-Test, die Effizienz der Item-Generierung durch die Pflege eines großen Pools an Aufgaben in einer Vielzahl von Kontexten zu steigern, was ein wichtiges Ziel für den TOEIC-Listening-Test war.

Weiterlesen

Diese Studie untersuchte, ob die Beherrschung einer bestimmten Sprachfähigkeit (z. B. Sprechen) besser geschätzt werden kann, indem nicht nur die TOEIC-Testergebnisse dieser Fähigkeit, sondern auch TOEIC-Testergebnisse für andere Fähigkeiten berücksichtigt werden. Die Ergebnisse stützten diese Behauptung und deuten darauf hin, dass die Ergebnisse der vierfachen TOEIC-Tests zusammen eine gültigere Messung der Englischkenntnisse bieten als jede einzelne Fertigkeit.

Weiterlesen

Diese Studie untersucht:

• Inwieweit die TOEIC-Testergebnisse einer Fähigkeit mit den Selbsteinschätzungen der Testteilnehmer ihrer Englischfähigkeiten in allen vier Fertigkeiten korrelieren
• Ob eine Englischfähigkeit (z. B. Lesen) genauer geschätzt oder vorhergesagt werden kann, indem man mehrere andere TOEIC-Testergebnisse nutzt, z. B. Hören, Sprechen und Schreiben,

Weiterlesen

Die differenzielle Aufgabenfunktion (DIF) ist ein statistisches Verfahren, das verwendet wird, um Aufgaben oder Aufgaben zu identifizieren, die in irgendeiner Weise unerwartet verzerrt sind und eine Gruppe von Testteilnehmern unangemessen gegenüber einer anderen bevorzugen. Eine der Herausforderungen bei Sprech- und Schreibtests ist das Fehlen bewährter, praktischer DIF-Techniken, die zur Analyse leistungsbasierter oder "konstruierter Antwort"-Tests verwendet werden können. Dieses Papier untersucht mehrere solcher Techniken und zeigt, wie Forschung betrieben wird, um die Fairness der Wertungsinterpretationen sicherzustellen.

Weiterlesen

Dieses Papier vergleicht den Inhalt, die Zuverlässigkeit und den Schwierigkeitsgrad der klassischen und 2006 neu gestalteten TOEIC Listening and Reading Tests. Obwohl die neu gestalteten Tests leicht unterschiedliche Aufgabentypen enthielten, um die aktuellen Sprachmodelle besser widerzuspiegeln, wurden die Tests als versionsübergreifend ähnlich bewertet.

Weiterlesen

Evidenzzentriertes Design (ECD) ist eine Methodik zur Bewertungsentwicklung, die explizit klarstellt, was eine Bewertung misst, und Kompetenzinterpretationen auf Basis von Testergebnissen unterstützt. Dieses Papier beschreibt die ECD-Prozesse, die zur Entwicklung der TOEIC-Sprech- und Schreibtests verwendet werden. Die durch den Testdesignprozess gesammelten Belege lieferten grundlegende Unterstützung für die Gültigkeit der Interpretationen der TOEIC-Testergebnisse im Sprechen und Schreiben.

Weiterlesen

Dieses Papier berichtet über die Ergebnisse einer Pilotstudie, die zur Entwicklung von TOEIC Sprech- und Schreibtests beigetragen hat. Die Analyse der Zuverlässigkeit von Testergebnissen ergab Hinweise auf mehrere Arten von Score-Konsistenz, darunter Inter-Rater-Reliabilität (Übereinstimmung mehrerer Bewerter bei einem Score) und interne Konsistenz (ein Maß, das auf Korrelation zwischen Items desselben Tests basiert).

Weiterlesen

Um sicherzustellen, dass die Tests weiterhin den Bedürfnissen der Testteilnehmer und Score-Nutzer entsprechen, ist es wichtig, dass Testprogramme ihre Bewertungen regelmäßig überprüfen. Aus diesem Grund wurde im Mai 2016 ein aktualisierter TOEIC-Hör- und Lesetest entwickelt, um mit der sich ständig verändernden Englischkenntnisse und der Art und Weise der Kommunikation im globalen Arbeitsplatz und Alltag Schritt zu halten.

Weiterlesen

Nach jedem Test-Redesign-Projekt – wie dem Redesign des TOEIC Listening and Reading Tests im Jahr 2006 – ist es wichtig, Beweise dafür zu liefern, dass Testergebnisse weiterhin sinnvoll interpretiert werden können. Diese Studie untersuchte den Zusammenhang zwischen den Ergebnissen bei der Neugestaltung des TOEIC-Hör- und Lesetests und der Wahrnehmung ihrer eigenen Englischkompetenz durch die Testteilnehmer. Forscher fanden moderate Korrelationen zwischen den Testergebnissen und der Wahrnehmung der Testteilnehmer, was belegt, dass die Ergebnisse der neu gestalteten TOEIC Listening and Reading Tests aussagekräftige Indikatoren für Englischkenntnisse sind.

Weiterlesen

Diese Studie versuchte, die TOEIC Bridge-Ergebnisse mit den Selbsteinschätzungen der Testteilnehmer zu ihrer eigenen Fähigkeit, alltägliche Sprachaufgaben auf Englisch auszuführen, zu vergleichen. Die Ergebnisse deuten darauf hin, dass die Testergebnisse gut mit den Selbsteinschätzungen der Testteilnehmer korrelierten, was weitere Belege für die TOEIC-Bridge-Ergebnisse als gültige und faire Indikatoren für die Englischkompetenz liefert.

Weiterlesen

Diese Studie untersucht die Beziehung zwischen TOEIC Listening and Reading-Scores und TOEIC Speaking and Writing-Scores, um festzustellen, ob Listening and Reading-Scores als Prädiktoren für Sprech- und Schreibwerte verwendet werden sollten und umgekehrt. Die Ergebnisse stützen die Validität der Testergebnisse für die gemessenen Fähigkeiten (z. B. liefern Hör- und Lesetestergebnisse sinnvolle Interpretationen der Hör- und Lesefähigkeiten).

Weiterlesen

Diese Studie sollte die Ergebnisse der TOEIC-Sprech- und Schreibtests mit den Selbsteinschätzungen der Schüler zu ihrer Fähigkeit zur Ausführung alltäglicher englischsprachiger Aufgaben vergleichen. Die Forscher berichteten von relativ starken Korrelationen zwischen Testergebnissen und den Selbstbewertungen. Dieses Ergebnis liefert weitere Belege für die TOEIC-Prüfungsergebnisse im Sprechen und Schreiben als Indikatoren für Englischkenntnisse. Diese Studie wurde außerdem als Powers, Kim, Weng und Van Winkle (2009) veröffentlicht.

Weiterlesen

Scale Anchoring ist ein Prozess, bei dem Testergebnisse in Score-Bereiche oder Kompetenzstufen gruppiert werden. Es verwendet eine Kombination aus statistischen Methoden und Expertenurteil, um Beschreibungen der Fähigkeiten und des Wissens zu erstellen, die typischerweise von Testteilnehmern auf jedem Kompetenzniveau gezeigt werden. Dieser Forschungsbericht beschreibt den Prozess der Skalenverankerung für TOEIC-Hör- und Lesetests, der sinnvolle Wertinterpretationen erleichtert.

Weiterlesen

Dieser Bericht beschreibt die Ziele und Ergebnisse eines Projekts zur Aktualisierung des TOEIC Listening and Reading Tests im Jahr 2016. Die Verwendung des Englischen zur Kommunikation, insbesondere in internationalen Arbeitskontexten, entwickelt sich ständig weiter. Daher wird der TOEIC Listening and Reading Test regelmäßig überprüft, um sicherzustellen, dass der Testinhalt die aktuelle Kommunikation am Arbeitsplatz und im Alltag widerspiegelt, wodurch sinnvolle Interpretationen zu Englischkenntnissen unterstützt und ein positiver Einfluss auf den Englischunterricht und das Lernen gefördert wird.

Weiterlesen

Mit der Zeit wird es wichtig, das Design eines Tests zu überdenken, um sicherzustellen, dass die Konzeptualisierung der Sprachkompetenz mit der aktuellen Theorie übereinstimmt und Testaufgaben weiterhin reale Aufgaben widerspiegeln. Dieser Bericht skizziert die Ziele, die theoretische Ausrichtung, die Verfahren und die Ergebnisse eines Redesign-Prozesses für den TOEIC Listening and Reading Test.  

Weiterlesen

Dieses Papier beschreibt die Ergebnisse einer Feldstudie für die 2006 neu gestalteten TOEIC Listening and Reading Tests, die Analysen der Schwierigkeit von Aufgaben und Tests, Zuverlässigkeit und Korrelation zwischen Testabschnitten und klassischen TOEIC Listening and Reading Tests umfasst. Die Ergebnisse stimmen mit einer weiteren Vergleichsstudie überein (die von Liao, Hatrak und Yu im Jahr 2010), die Belege für die Zuverlässigkeit der neu gestalteten Tests fand und nahelegte, dass die Ergebnisse des neu gestalteten Tests ähnlich interpretiert und verwendet werden könnten wie klassische TOEIC-Hör- und Lesetestergebnisse.

Weiterlesen

Diese Studie verglich die TOEIC-Bridge-Ergebnisse mit den Bewertungen der Lehrer über die Fähigkeiten der Testteilnehmer, alltägliche Sprachaufgaben auf Englisch auszuführen. Die Autoren berichteten von moderaten Korrelationen zwischen diesen Bewertungen und Testergebnissen, die unterstützende Belege für die Validität der TOEIC-Bridge-Testergebnisse als Indikatoren für Englischkenntnisse liefern.

Weiterlesen

Diese Studie sollte untersuchen, inwieweit die TOEIC Bridge-Ergebnisse mit den Selbsteinschätzungen von Schülern und Lehrern übereinstimmen, zwei Messgrößen der Englischsprachkompetenz. Die TOEIC-Bridge-Werte wurden als moderat korreliert mit diesen Messungen identifiziert, was einen gültigen Beweis dafür liefert, dass TOEIC-Bridge-Werte sinnvoll als Indikatoren für Englischkenntnisse interpretiert werden können.

Weiterlesen

Diese Studie untersuchte den Zusammenhang zwischen den TOEIC-Bridge-Ergebnissen und den Bewertungen ihrer eigenen Englischkompetenz durch die Schüler. Die TOEIC Bridge-Testergebnisse korrelierten mit selbstberichteten Lese- und Hörfähigkeiten, was einen Hinweis darauf liefert, dass die TOEIC Bridge-Testergebnisse gültige oder aussagekräftige Indikatoren für die englischsprachige Lese- und Hörkompetenz sind.

Weiterlesen

Diese Studie untersuchte, ob Vollzeitbeschäftigte beim TOEIC Listening and Reading Test einen unfairen Vorteil gegenüber Vollzeitstudenten haben, da der Test arbeitsplatzorientierte Inhalte enthält. Mit mehreren Testformen wandten die Forscher statistische Methoden an, um Items zu erkennen, die zwischen den beiden Gruppen unterschiedlich funktionieren könnten, überprüften markierte Items mit Expertengremien und bewerteten, ob Score-Unterschiede auf unfaire Verzerrung zurückzuführen waren – ohne Belege dafür zu finden, dass eine der beiden Gruppen systematisch begünstigt war. Die Ergebnisse unterstützen die Fairness der TOEIC-Hör- und Leseergebnisse für postsekundäre Testteilnehmer, unabhängig von ihrer Berufserfahrung.

Weiterlesen

Dieses Kapitel untersucht, wie das Konzept der Sprechkompetenz am Arbeitsplatz definiert werden sollte und was diese Definition für das Design eines Tests wie des TOEIC Speaking Test bedeutet. Basierend auf einem interaktionalistischen Rahmen betrachtet sie, wie Faktoren wie die spezifischen kommunikativen Anforderungen von Arbeitsplatzkontexten und die Sprachumfangsbreite, auf die ein Sprecher zurückgreift, Aufgabenplanung, Bewertungskriterien und Vorbereitung des Bewerters beeinflussen sollten – und wie jedes dieser Elemente zum Gesamtargument für die Validität von Punkten aus einer Arbeitsplatz-Sprechbewertung beiträgt.

Weiterlesen