Fünf Dinge, die du über Testsicherheit bei ETS nicht wusstest

von Ray Nicosia

Princeton, NJ, USA (3. Juni 2022) – Die Aufrechterhaltung der Sicherheit unserer Bewertungen bei ETS war eine jahrzehntelange Aufgabe. Da das Testen von Papier und Bleistift zu computerbasiert und vom Testzentrum zu Hause überging, hat sich die Transformation der Testbranche grundlegend verändert. Mit dieser Entwicklung entsteht die Notwendigkeit, Sicherheit auf neue und andere Weise zu sehen und ständig alles Notwendige zu tun, um denen einen Schritt voraus zu sein, die versuchen, unsere Tests zu betrügen und die Integrität unserer Tests zu gefährden.

So komplex das Bereich der Testsicherheit auch sein mag, hier sind fünf Dinge, die Sie vielleicht nicht wissen (aber sollten) über Testsicherheit bei ETS:

1. Das Office of Testing Integrity (OTI) von ETS bekämpft seit über 64 Jahren Testbetrug und Betrug.

Seit 64 Jahren beschäftigt ETS ein eigenes OTI-Büro, das aus Ermittlern, Experten und Analysten besteht, die die Gültigkeit und Integrität unserer Prüfungen sicherstellen und deren Aufgabe es ist, diejenigen zu verteidigen, die ehrlich testen. In Zusammenarbeit mit hochqualifizierten Aufsichtspersonen, KI-Technologien und Datenanalysen analysiert das Team Ergebnisse und Testsitzungen, die vermutlich unfair oder verdient wurden und daher Testergebnisse annullieren, falls Beweise dies rechtfertigen. Als Branchenführer in diesem Bereich erkennt unser OTI-Büro die Notwendigkeit, mehr gegen Betrug weltweit zu tun.

2. ETS hat in den letzten sechs Jahrzehnten Milliarden von Dollar in Testsicherheit und Technologieinfrastruktur investiert, um Betrug zu bekämpfen.

ETS hat in den letzten Jahren jährlich Dutzende Millionen Dollar in Testsicherheit und Technologieinfrastruktur investiert – Milliarden in den letzten sechs Jahrzehnten. In den kommenden Monaten planen wir, weitere zig Millionen Dollar zu investieren, um unsere technologischen Fähigkeiten zu erweitern und die Testsicherheit zu verbessern, um selbst die kleinsten Formen von Betrug zu erkennen. Diese Fähigkeiten und Verbesserungen umfassen, sind sicherlich nicht beschränkt auf: die kontinuierliche Verhinderung von Fernzugriffssoftware (RAS) mit ETS-Eigenwissen und -fähigkeiten, kombiniert mit neuer, integrierter Technologie zur Aufrechterhaltung von erstklassigen Testsicherheitsmaßnahmen; Verbesserung von maschinellen Lernmodellen, um weiterhin unehrliches Testverhalten in hoher Rate zu erkennen; die Entwicklung neuer und Verfeinerungen bestehender statistischer Bewertungsmodelle, die die kontinuierliche Bemühungen zur Identifizierung und Schließung von Betrügern unterstützen; und fortlaufende Forschung zu neuen Itemtypen und Bewertungsansätzen zur Bekämpfung von Betrug. Die Investitionen ergänzen unsere strengen Sicherheitsprotokolle und Qualitätskontrollverfahren, um Probleme zu untersuchen, Scores zu annulieren und Personen zur Rechenschaft zu ziehen, die gegen unsere Testrichtlinien verstoßen.

3. ETS kann und tut es auch, Testergebnisse zu stornieren – selbst nachdem sie an Prüflinge und Institutionen freigegeben wurden.

Wenn ETS Beweise vorlegt, dass die Ergebnisse eines Testteilnehmers möglicherweise unfair erzielt wurden – ein Verstoß gegen unsere Testrichtlinien – kann OTI die Ergebnisse zurückhalten, um die Testsitzung und die erzielte Punktzahl weiter zu bewerten und zu entscheiden, ob diese Ergebnisse gestrichen werden sollten. In manchen Fällen bedeutet das, dass die Ergebnisse auch dann gestrichen werden, selbst wenn sie bereits an Testteilnehmer und/oder Institutionen veröffentlicht wurden, wenn nach der Freigabe Beweise gesammelt werden, die zeigen, dass die Ergebnisse aufgrund eines unfairen Vorteils erzielt wurden. In den extremsten Fällen sperrt ETS Testteilnehmer, die gegen unsere Testrichtlinien verstoßen.

4. Betrug bei standardisierten Prüfungen ist nicht einzigartig für ETS.

Betrug ist ein branchenweites Problem, das durch den Aufschwung der Remote-Testbranche in den letzten zwei Jahren in den Fokus gerückt wurde. Obwohl es im Bildungssektor nicht häufig diskutiert wird, sind wir es unseren Stakeholdern schuldig, sie über unsere Beobachtungen, unsere Anliegen und unsere Zukunftspläne auf dem Laufenden zu halten. Wir wissen, dass Testsicherheit eine der wichtigsten Säulen des End-to-End-Testprozesses ist, die sicherstellt, dass die Ergebnisse gültig, zuverlässig und vertrauenswürdig sind, und als führende Organisation in der Testsicherheit und im Ferntest nehmen wir unsere Verantwortung ernst, die Testteilnehmer zu schützen, die ehrlich testen. Wir setzen uns ebenso dafür ein, Institutionen weltweit zu unterstützen, die sich auf Ergebnisse für wichtige Entscheidungen verlassen. Unzuverlässige Ergebnisse haben Auswirkungen auf unvorbereitete Studierende, die die Anforderungen von Hochschulprogrammen nicht erfüllen können, und haben dadurch negative Auswirkungen auf den Ruf hart erarbeiteter Institutionen. Punktenannullierungen sind ein Zeichen für gute Durchsetzung durch Testorganisationen, und das Fehlen solcher Absagen sollte sowohl Institutionen als auch Interessengruppen zum Nachdenken bringen.

5. Tests zu Hause haben zu einem Anstieg von Betrugsversuchen unter den Prüfungsteilnehmern beigetragen.

Mit dem neuen Liefermodell der Tests zu Hause hat ETS im zweiten Jahr der Haustests (FY21) einen Anstieg der Score-Stornierungen bei TOEFL- und GRE-Testverwaltungen^® zusammen um mehr als 200 % verzeichnet im Vergleich zum ersten Jahr (FY20). Obwohl dieser Anstieg eingetreten ist, bedeutet das nicht, dass unsere Wachsamkeit nachgelassen hat. Tatsächlich ist genau das Gegenteil der Fall, was sich an unserer Fähigkeit zeigt, betrügerische Aktivitäten zu erkennen und Ergebnisse nach gründlicher Analyse und Untersuchung zu stornieren. Obwohl es mehr Versuche des Betrugs gibt, werden standardmäßig immer mehr Ergebnisse annulliert. Wir haben Beispiele gesehen, wie Testteilnehmer versucht haben, mit Fernzugriffssoftware, Proxy-Tests, Handys zum Senden und Empfangen von Nachrichten sowie einer Kombination dieser und anderer Betrugstechniken zu betrügen.^® Unser OTI-Team besteht aus führenden Experten für Testsicherheit und wird weiterhin der Entwicklung voraus sein, um sicherzustellen, dass wir Prüflinge fangen und abschrecken, die versuchen, bei unseren Bewertungen zu betrügen.

Ray Nicosia ist Principal für Testsicherheit im Office of Testing Integrity bei ETS.

Über ETS

Bei ETS fördern wir Qualität und Gleichberechtigung in der Bildung weltweit, indem wir Bewertungen auf der Grundlage rigoroser Forschung erstellen. ETS unterstützt Einzelpersonen, Bildungseinrichtungen und Regierungsbehörden, indem es maßgeschneiderte Lösungen für Lehrerzerifizierung, Englischlernen sowie Grund-, Sekundar- und Hochschulbildung anbietet und Bildungsforschung, Analysen und Politikstudien durchführt. Gegründet als gemeinnützige Organisation im Jahr 1947, entwickelt, verwaltet und bewertet ETS jährlich mehr als 50 Millionen Tests – darunter die TOEFL- und TOEIC-Tests^®, die GRE-Tests^® und die Praxis-Series-Bewertungen^® – in mehr als 180 Ländern an über 9.000 Standorten weltweit.^®

www.ets.org