Kann ich einem Test zu Hause vertrauen?

Ray Nicosia

Principal, Test Security in the Office of Testing Integrity at ETS

24. August 2020

Als die Coronavirus-Pandemie die Testzentren weltweit schloss, war die Nachfrage nach einer virtuellen Lösung für hochrisikoreiche Prüfungen unerlässlich. Wir wussten, dass unsere Testteilnehmer eine sofortige Lösung benötigten, um ihre Prüfungen abzuschließen und so kritische Fristen für ihre Bildungs- und berufliche Laufbahn einzuhalten.

In nur sechs kurzen Wochen waren wir die ersten in der Branche, die eine remote beaufsichtigte Lösung lieferten, in Zusammenarbeit mit dem Branchenführer ProctorU^® für den GRE^® General Test und den TOEFL ^iBT-Test® , und haben seitdem unser Angebot um die HiSET-Prüfung^® und ^{Praxis-Tests®} erweitert. Sowohl Testteilnehmer als auch institutionelle Score-Nutzer verlassen sich auf unsere Bewertungen, um eine genaue und zuverlässige Messung dessen zu liefern, was Testteilnehmer wissen und können – daher bleibt die Erhaltung der Sicherheit und Integrität der Ergebnisse ebenso wichtig wie die Nutzung der richtigen Vermittlungsmethode.

Aber wie bringt man Strategien, die auf jahrzehntelangen Onsite-Tests basieren, online, sicher und das alles innerhalb weniger Wochen?

ETS verfügt über umfangreiche Erfahrung in der Modernisierung von Bewertungsformaten. Beim Übergang zu Fernlösungen sind wir einfach zu den Grundlagen zurückgekehrt, indem wir strenge Protokolle und umfangreiche Recherchen zum Verhalten der Testteilnehmer mit modernster Technologie integriert haben. Wir betreiben große Anstrengungen, um weiterhin die höchste Qualität unserer Bewertungen sicherzustellen und Risiken abzuschrecken. Hier sind nur einige der Möglichkeiten, wie wir die Testsicherheit während unserer Hausprüfungen gewährleisten:

Identitätsverifizierung

Vor Beginn der Prüfung werden die Identitäten der Prüflinge überprüft, um sicherzustellen, dass der Prüfling, der zur Prüfung erscheint, mit dem Namen auf der Anmeldung übereinstimmt. Dies hilft, "professionelle Prüflinge" davon abzuhalten, den Test abzuschließen und das Testmaterial zu kompromittieren. Die Fotos der Prüflinge werden mit ihrem offiziellen, von der Regierung ausgestellten Ausweis abgeglichen. Während des gesamten Tests wird künstliche Intelligenz (KI) eingesetzt, um sicherzustellen, dass derselbe Prüfling auf dem Platz bleibt und um zu verhindern, dass eine zweite Person den Raum betritt. Für Tests, einschließlich des TOEFL iBT-Tests, nutzen wir außerdem Sprachbiometrie, um die Stimme des Prüflings mit den gespeicherten Aufnahmen abzugleichen, um Betrug zu verhindern und potenzielle Fälle von Imitation zu identifizieren.

Umweltabtastung

Bevor die Prüfungsteilnehmer mit ihrer Prüfung beginnen, führen die Fernaufsichtspersonen eine gründliche 360-Grad-Überprüfung des Prüfungsraums mit einer Webcam durch, um sicherzustellen, dass der Prüfling allein ist und keine verdächtigen Geräte oder Materialien vorhanden sind. Diese Verbindung bleibt während der gesamten Sitzung aktiv und wird von Anfang bis Ende auf Video aufgezeichnet, sodass das ETS-Personal den Testteilnehmer auch live oder später auf Video beobachten kann. Das ProctorU-Personal überwacht sorgfältig ungewöhnliches Verhalten oder Bewegungen. Der Prüfer scannt außerdem das Gerät des Prüfers nach Software und Browsern, die am Computer offen oder funktionsfähig sind, um sicherzustellen, dass während des gesamten Tests keine unerlaubte Software im Hintergrund läuft.

Künstliche Intelligenz

Durch eine Schicht menschlicher Sorgfalt mit KI- und Prozessdaten wird der Prüfer von einer Technologie unterstützt, die kontinuierlich nach Unregelmäßigkeiten sucht und so die Aufsicht des Prüfers verstärkt und voranbringt. Der Prüfer hat vollständigen visuellen Zugriff sowohl auf den Bildschirm des Prüfers als auch auf die visuelle Beobachtung per Webcam. Der Test kann sofort abgebrochen werden, wenn versucht wird, während des Tests zu betrügen, einen neuen Browser zu öffnen, nicht erlaubte Software oder Geräte zu verwenden oder mit anderen zu kommunizieren.

Prozessdatenanalyse

In enger Zusammenarbeit mit unseren Research & Development-Datenanalysten und Psychometrikern analysieren wir alle Testaktivitäten und Prozessdaten, die während jeder Testsitzung gesammelt werden, um Muster und Abweichungen zu erkennen, die verdächtiges Verhalten im Laufe der Zeit erkennen können. Diese Daten sind nicht nur für die Zuverlässigkeit der Tests entscheidend, sondern auch für das Verständnis des Verhaltens der Testteilnehmer, sodass wir die von uns verwendeten Technologien kontinuierlich aktualisieren können, um die Sicherheit unserer Prüfungen und die Privatsphäre der Prüflinge zu gewährleisten.

Unser Wechsel zu Ferntests hat uns die Möglichkeit gegeben, zu lernen, weiterzuentwickeln und unsere Testteilnehmer dort zu treffen, wo sie sind. Hunderttausende Prüflinge haben unsere Heimatprüfungen erfolgreich abgeschlossen, um ihre Bildungs- und beruflichen Laufbahnen fortzusetzen. Indem wir unsere tief verwurzelte Expertise, die wir über die Jahre im Feld aufgebaut haben, weiterhin mit aufkommenden Technologien verbinden, werden wir unsere Fähigkeiten weiter verbessern und die Testerfahrungen unserer Prüflinge verbessern.

Ray Nicosia ist Geschäftsführer des Office of Testing Integrity bei ETS.