Werkzeuge, die KI-generierten Text markieren, können nützlich sein, aber Vorsicht ist jedoch unerlässlich.
Da Schüler zunehmend auf KI-Tools zur Unterstützung bei ihren Hausaufgaben zurückgreifen, wurden Lehrer und Professoren gebeten, eine neue Rolle zu übernehmen – Detektive mit der Mission, die akademische Integrität zu gewährleisten. War es ein Schüler oder ChatGPT, der den Aufsatz geschrieben hat? KI-Detektoren sind zur Rettung gekommen und helfen Lehrkräften, KI-generierten Texten in den Abgaben der Schüler zu erkennen. Doch diese Werkzeuge sind alles andere als perfekt.
Als Wissenschaftler, der seit ihrer ersten Entwicklung die Detektoren von KI-generierten Essays umfassend untersucht hat, muss ich noch einmal betonen: Kein KI-Detektor kann perfekte Genauigkeit erreichen. Verschiedene Detektoren können Essays falsch klassifizieren – entweder indem sie authentisches menschliches Schreiben fälschlicherweise als KI-generiert markieren oder Inhalte von KI nicht erkennen – was die Notwendigkeit sorgfältiger Nutzung und Prüfung unterstreicht.
Basierend auf der Forschung, die meine Kollegen und ich Anfang dieses Jahres durchgeführt haben, finden Sie hier einige Tipps, wie Lehrer und Professoren KI-Detektoren verantwortungsvoll einsetzen können.
Lesen Sie das Etikett. Kein KI-Detektor ist unfehlbar. Wenn Sie ein bestimmtes Tool verwenden, achten Sie auf die Erkennungsgenauigkeit, die es meldet. Zum Beispiel erklärte OpenAI, dass sein eigener Detektor KI-generierten Text nur 26 % der Zeit korrekt identifizierte und in 9 % der Fälle fälschlicherweise von Menschen geschriebenen Text als KI-generiert markierte; das Tool wurde sechs Monate später abgeschaltet.
Die Textlänge ist entscheidend. Längere Texte liefern in der Regel zuverlässigere Ergebnisse mit KI-Detektoren. Mit anderen Worten: Es ist praktisch unmöglich festzustellen, ob ein einzelnes Wort oder ein kurzer Satz von KI generiert wurde. Unsere Studie legte nahe, dass eine Textlänge von 50 Wörtern eine Mindestanforderung für eine zuverlässige Erkennung ist.
KI-Detektoren werden Inhalte, die von Menschen und KI gemeinsam erstellt wurden, nicht zuverlässig markieren. Die Definition und Erkennung von KI-generiertem Text wird unklar, wenn Menschen und KI zusammenarbeiten. Es ist wichtig, klare Richtlinien für die Schüler festzulegen, wie viel KI-generierter Inhalt in jeder Aufgabe erlaubt ist und warum sie angeben müssen, wie sie KI in ihrem Beitrag eingesetzt haben.
Seien Sie sich bewusst: Detektoren könnten voreingenommen sein. KI-Detektoren können, höchstwahrscheinlich wegen ihrer Ausbildung, manchmal Verzerrungen gegenüber bestimmten demografischen Gruppen zeigen, ohne klar vorhersehbare Muster zu haben. Daher rate ich davon ab, sich bei Entscheidungen mit hohen Einsätzen ausschließlich auf KI-Detektor-Ergebnisse zu verlassen.
Verwenden Sie mehr als ein Werkzeug, um die Konsistenz der Ergebnisse zu verbessern. Verschiedene KI-Detektoren können unterschiedliche Ergebnisse für denselben Text liefern. Die Verwendung mehrerer Detektoren und das Kreuzverweise ihrer Ergebnisse können eine umfassendere Bewertung ermöglichen.
Verlassen Sie sich nicht ausschließlich auf textbasierte Detektoren. Berücksichtigen Sie zusätzliche Informationsquellen, wie Tastendruckdaten oder Videoaufnahmen des Schreibprozesses, zusammen mit Detektorausgaben, um fundiertere Entscheidungen zu treffen.
Die KI-Technologie wird sich weiterentwickeln, und Schüler werden zwangsläufig KI-Werkzeuge in ihr Studium integrieren. Meine Kollegen und ich haben die Arbeit an TeachAI genossen, und wir freuen uns auf weitere Möglichkeiten, Lehrkräften dabei zu helfen, ihre Schüler bei der Nutzung weiterentwickelnder Technologien zu unterstützen, um in Schule und im Leben erfolgreich zu sein.
Jiangang ist Forschungsdirektor und spezialisiert auf die Bewertung komplexer Fähigkeiten wie kollaboratives Problemlösen, Kreativität, Neugier und digitale Kompetenz.