Hohe Leistungen im Spracherwerb: Wie Dr. Maria Treaaways Forschung die Englisch-Sprachbewertung beeinflussen könnte
24. März 2023
Dr. Maria Treadaway wurde mit dem diesjährigen Jacqueline Ross TOEFL® Dissertation Award für ihre Dissertation "Entwicklung und Validierung eines diagnostischen Sprachtests für Ab Initio Cadet Pilots" ausgezeichnet. Der Jacqueline Ross TOEFL Dissertation Award würdigt Doktorarbeitsforschung, die einen bedeutenden und originellen Beitrag zum Wissen über Tests und Tests in Zweitsprachen oder Fremdsprachen und/oder zur Nutzung und Entwicklung solcher Tests leistet. In diesem Q&A wird Dr. Treadaway ihre Forschung zur Bedeutung von Ergebnissen für die Luftfahrtindustrie und das Feld der Sprachtests sowie deren Beitrag zum Englischlernen und -bewertung teilen, unter anderem.
Können Sie uns von Ihrer Inspiration erzählen, in diesem wichtigen Bereich der Sprachtests in der Luftfahrt zu forschen?
Dr. Maria Treadaway: Seit ich Richard Scarrys Great Big Air Book zu meinem fünften Geburtstag erhalten habe, war ich von Flugzeugen und Luftfahrt fasziniert. Schließlich erwarb ich 2001 meine kommerzielle Pilotenlizenz, aber nach dem 11. September entschied ich mich, weiterhin als Hobby zu fliegen, anstatt es professionell zu verfolgen. Stattdessen begann ich mit dem Englischunterricht und schloss anschließend einen Master in angewandter Linguistik ab. Meine Nebenarbeit verband ein Interesse an Luftfahrt und Assessment, und ich untersuchte die Auswirkungen der Sprachrate auf das Leseverständnis der Piloten in nicht-routinemäßigen Situationen. Währenddessen hatte ich das unglaubliche Glück, mit Professor Emeritus John Read zusammenzuarbeiten, da seine Betreuung sowohl Luftfahrt- als auch Bewertungskompetenz vereinte. In meiner Masterforschung erkannte ich, dass es einen echten Bedarf an Forschung an Luftfahrtsprachtests gab, und da John zustimmte, mit mir zusammenzuarbeiten, wusste ich, dass ich bei meiner Promotion unterstützt werden würde. Tatsächlich befinde ich mich in der sehr privilegierten Lage, Johns letzter Doktorand zu sein, und diese Auszeichnung ist ebenso für ihn wie für mich. In meinem Studium konnte ich also meine Liebe zur Luftfahrt, zur englischen Sprache und zur Bewertung verbinden.
Können Sie die Bedeutung Ihrer Forschungsergebnisse für die Luftfahrtindustrie und das Feld der Sprachtests näher erläutern?
Dr. Maria Treadaway: Meine Studie war ein angewandtes Projekt, um einen Test zu entwickeln, der die sprachliche Bereitschaft von ab initio Cadet-Piloten aus nicht-englischsprachigen Hintergründen misst, erfolgreich an ihren praktischen Flugausbildungsprogrammen auf Englisch teilzunehmen. Der Test heißt Overseas Flight Training Preparation Test oder OFTPT. Falls Sie sich gefragt haben: ab initio bedeutet von Anfang an, also sprechen wir von Schülerpiloten, die ihre theoretische Ausbildung an der Bodenschule abgeschlossen haben und bereit sind, in die praktische Flugausbildung überzugehen, und Kadett bezieht sich darauf, dass viele Teilnehmer in ihrer Studie von einer Fluggesellschaft gefördert wurden.
Die Motivation für dieses Projekt ergab sich aus dem aktuellen Kontext der Sprachtests in Luftfahrttrainingsumgebungen. Derzeit gibt es keine standardisierten Maße der Sprachfähigkeit, um ab initio Kadettenpiloten mit nicht-englischsprachigen Hintergründen zu bewerten, die in englischsprachigen Ländern eine praktische Flugausbildung beginnen. Stattdessen übernimmt jede einzelne Ausbildungsorganisation ihre eigenen Test- und Zulassungsanforderungen, was zu einem Ad-hoc-Ansatz zur Bewertung der sprachlichen Bereitschaft führt, im Gegensatz zur ansonsten robusten und standardisierten Bewertung von Fähigkeiten und Fähigkeiten in anderen Bereichen ihrer Ausbildung. Daher hat der Luftfahrtausbildungssektor den Bedarf an einem validen, zuverlässigen und standardisierten Messinstrument signalisiert, das auf die Sprachkompetenzskala der Internationalen Luftfahrtorganisation (ICAO) abgestimmt ist (dies ist das internationale Maß für die Sprachkompetenz von Piloten und Fluglotsen), um vergleichbare Qualitätsstandards in verschiedenen Organisationen zu etablieren mit dem Ziel, die negativen Folgen von Flugschülern, sponsernden Fluggesellschaften und Ausbildungsorganisationen zu minimieren, wenn Studierende in ein Programm aufgenommen werden, obwohl sie sprachlich nicht bereit sind. Was die Bedeutung meiner Forschung betrifft, könnte sie das Messinstrument darstellen, das die Branche sucht, weil es durch die realen Bedürfnisse der Branche motiviert wurde.
Daten aus der Untersuchung des Zielsprachengebrauchs (TLU) (Phase 1) und der Standardsetzungssitzung (Phase 4) zeigen, dass das OFTPT erfolgreich erfasst, was Fachexperten (SMEs) in diesem Bereich (Fluglehrer, Fluglotsen und Englischlehrer in der Luftfahrt) in Bezug auf den Testinhalt bewerten. Die Itemanalyse in Testversuchen (Phase 3) zeigt, dass die Operationalisierung des Konstrukts (Phase 2) erfolgreich war, da der Test gut unterscheidet und ein geeignetes Schwierigkeitsgrad erreichte. Während der Standardsetzung mit SMEs (Phase 4) gab es zudem eine beträchtliche Homogenität hinsichtlich der sprachlichen Leistungsniveaus, die SME von Non-Native English Speaking (NNES) ab initios erwartet werden, was darauf hindeutet, dass Vertrauen in die Schwellenwerte der Leistung in den Leistungsstufen und in den Cut-Scores bestehen kann, die inferentiell mit der ICAO-Sprachkompetenzskala verknüpft waren. Zusammenfassend trug jede Phase zur Identifizierung eines von SMEs in einem speziell für diesen TLU-Bereich entwickelten Standard bei. Dies ist der erste forschungsbasierte Maßstab für den Einstieg in die Flugausbildung, gemessen an der ICAO-Skala. Es ist ein Anfang, und ich weiß, dass viele andere Menschen daran arbeiten, die Standards in diesem Bereich zu verbessern, und ich hoffe, dass andere auf meiner Arbeit aufbauen können und werden.
Wie stellen Sie sich Ihre Forschung als Beitrag zum Bereich des Englischlernens und der Bewertung vor?
Dr. Maria Treadaway: Was einen praktischen Beitrag betrifft, so ist das Hauptergebnis des Projekts ein voll funktionsfähiger Test, der online durchgeführt wird und speziell die Bedürfnisse von Ab-Initio-Piloten abzielt, die ihre praktische Flugausbildung beginnen, und sich an die ICAO Language Proficiency Rating Scale orientiert. Testergebnisse können als Bereitschaftsgrade für praktische Flugausbildung interpretiert werden (also ist ein Schüler entweder bereit, minimal bereit oder nicht bereit), und diese Bereitschaftsstufen sind empirisch mit der ICAO-Bewertungsskala verknüpft, die, wie ich bereits sagte, das erste Mal ist, dass Schwellenwerte der Sprachkompetenz innerhalb dieses TLU-Bereichs mit dieser Skala verknüpft wurden.
Der Test konzentriert sich auch auf die wichtige diagnostische Funktion des Tests in dieser Umgebung. Im Scorebericht erhalten die Testteilnehmer detailliertes Feedback zu ihrer Testleistung, das ihnen helfen kann, ihre Stärken und Schwächen zu identifizieren, um ihre Flugsprachkenntnisse zu verbessern. Auf der dazugehörigen Test-Website habe ich Lernressourcen kuratiert, auf die die Testteilnehmer frei zugreifen können, um ihre Schwächen zu verbessern und auf ihren Stärken aufzubauen. Es besteht also Potenzial für eine positive Rückwirkung auf die Sprachlernergebnisse, bei der die Lernenden das Wissen, die Fähigkeiten und Fähigkeiten in ihren realen Bereichen entwickeln und im OFTPT auf dieselben Fähigkeiten getestet werden. Diese Abstimmung zwischen Lernen und Bewertung war mir bei der Entwicklung meines Luftfahrtsprachtests sehr wichtig. Die Sprachtestaufgaben sind sehr eng mit Aufgaben im Zielsprachbereich der Schüler übereinstimmen, sodass Lernen und Bewertung ineinander übergehen. Ich halte das für sehr wichtig, um die Lernenden zu motivieren und ihr Engagement für die Sprache, die sie benötigen, um in ihrem Zielsprachenbereich, in diesem Fall praktischer Flugausbildung, zu funktionieren.
Was den theoretischen Beitrag betrifft, so ist diese Studie das erste Werk, das zwei gut etablierte Ansätze zur Validierung in der Bewertung vereint: das Assessment Use-Argument von Bachman und Palmer sowie O'Sullivans und Weirs sozio-kognitives Framework 2011. Daher könnten die erweiterten Beschreibungen des Designs und der Operationalisierung des OFTPT in Phase 2 (in Kapitel 5 meiner Dissertation) als nützlicher Bauplan für ESP/LSP-Testentwickler und insbesondere für Luftfahrttestentwickler dienen, da das Kapitel auch detaillierte Testspezifikationen und eine Begründung für jedes Modul des OFTPT (Listening, Reading and Speaking) enthält.
Wie hat sich der Erhalt des Jacqueline Ross TOEFL® Dissertation Award auf Ihre Karriere und Ihren Forschungslauf ausgewirkt?
Dr. Maria Treadaway: Zunächst und vor allem hat der Erhalt dieses Preises eine bedeutende Anerkennung in meiner Schule und meiner Fakultät an der Universität und Auckland sowie in der Sprachtestgemeinschaft in Australien und Neuseeland eingebracht und nun mit diesem Interview vielleicht auch weiter entfernt! Ich hoffe, dass dies die Sichtbarkeit meines Doktoratsprojekts erhöht und vielleicht zu einigen realen Anwendungen des OFTPT in Luftfahrtausbildungsorganisationen führt. Außerdem erhöht dies eine internationale Auszeichnung die Glaubwürdigkeit meiner Forschung, was bei der Aufnahme der Prüfung in Flugausbildungsorganisationen und bei der Sicherung zukünftiger Fördermittel für weitere Validierung und Forschung helfen kann. Neben der Anerkennung geht die Auszeichnung mit finanzieller Unterstützung einher, die ich nutzen werde, um meine Forschung durch die Teilnahme an Konferenzen und anderen Weiterbildungsmöglichkeiten zu verbreiten. Diese Anerkennung führt bereits zu mehr Möglichkeiten, mit anderen Forschern aus Australien, Brasilien und den USA zusammenzuarbeiten, was wiederum hoffentlich zu neuen Forschungswegen und weiterem Fortschritt des Fachgebiets führen wird. Deshalb denke ich, dass mir dieser Preis als Plattform geholfen hat, meine Arbeit einem breiteren Publikum zugänglich zu machen.
Können Sie etwas über die Bedeutung der Anerkennung und Unterstützung von Forschung im Bereich Sprachtests sagen?
Die Anerkennung und Unterstützung von Forschung im Sprachtest ist aus mehreren Gründen von großer Bedeutung. Erstens hilft die Forschung zu Sprachtests, dass Sprachtests fair, zuverlässig und gültig sind, was besonders in Kontexten von Bedeutung ist, in denen Sprachkompetenz für hochrangige Zwecke wie Luftfahrt oder Einwanderung eingesetzt wird. Wenn wir die Genauigkeit der Sprachbewertung verbessern können, können wir einen positiven Einfluss auf die Bildungs- und Berufschancen der Einzelpersonen sowie auf die Gesellschaft insgesamt haben. Ohne Forschung können wir möglicherweise das Zielkonstrukt nicht erfassen oder die Sprachkompetenz nicht genau messen, was zu ungenauen Bewertungen von Sprachlernern und unbeabsichtigten negativen Folgen für alle Beteiligten führt. Technologische Fortschritte können die Forschung im Sprachtest unterstützen, indem innovative Bewertungsmethoden und Werkzeuge entwickelt werden, die Sprachkenntnisse besser erfassen und das Testerlebnis für Prüflinge verbessern, vielleicht durch zugänglichere und gerechtere Tests. Schließlich kann Forschung zu Sprachtests Sprachpolitik und Entscheidungsfindung unterstützen, was zu effektiveren Sprachbildungsprogrammen und verbesserten Ergebnissen für Sprachlernende führt. Forschung ist also sehr wichtig!
Was waren einige der größten Herausforderungen, denen Sie während Ihres Doktoratsprojekts begegnet sind, und wie haben Sie diese überwunden?
Dr. Maria Treadaway: Ein Großteil meiner Promotion habe ich während der COVID-19-Pandemie gemacht, daher gab es einzigartige Herausforderungen, die den Prozess komplexer machten, mir aber auch neue Möglichkeiten eröffneten, innovative Lösungen mit digitalen und kollaborativen Tools zu erkunden. Spezifische Herausforderungen umfassten das Projektmanagement aller kleinen Aufgaben, die zu erledigen waren, den Aufbau und die Pflege von Kontakten innerhalb der Luftfahrtausbildungsbranche, die Rekrutierung von Teilnehmern (insbesondere angesichts der Beschränkungen der Behörden und der sozialen Distanzierung) sowie der allgemeine Bedarf an virtuellen Interviews und Online-Datenerhebung. Gelegentlich hatte ich keinen Zugriff auf physische Ressourcen aus der Bibliothek, was das Zeitmanagement und die Koordination der Forschungsaktivitäten manchmal erschwerte. Abgesehen von COVID fand ich, wie die meisten Doktoranden, die Motivation besonders während des Schreibprozesses am schwierigsten. Ich überwand das, indem ich Freizeitaktivitäten in meinen Zeitplan integrierte – Spaziergänge, Besuche bei Familie und Freunden und für die Arbeit. Dieses Gleichgewicht war notwendig, um den erweiterten Fokus aufrechtzuerhalten, den ich brauchte. Ich führte außerdem ein Protokoll über die Aktivitäten, an denen ich arbeitete, die Absichten/Ergebnisse, auf die ich hinarbeitete, sowie eine Reflexion darüber, wie es mir ging und wie viel Zeit ich damit verbrachte. Dieses Zeit- und Aktivitätsprotokoll war entscheidend, um mir zu helfen, fokussiert, motiviert und konzentriert zu bleiben, während ich remote und isoliert arbeitete.
Abschließend: Welche Botschaft möchten Sie angehenden Forschern auf diesem Gebiet mitteilen?
Dr. Maria Treadaway: Die Auswirkungen von Sprachtests auf die Luftfahrtindustrie sind weitreichend, und ich denke, es gibt viel Raum für weitere Forschung, um sicherzustellen, dass Sprachtests in diesem Bereich effektiv, aktuell sind und Tests nach professionellen Standards entwickelt werden, mit Validierungsbelegen zur Unterstützung der Schlussfolgerungen der Testergebnisse. Für diejenigen, die Forschung betreiben und vielleicht die Herausforderungen spüren, denken Sie daran, dass Sprachtests für die Luftfahrtbranche von größter Bedeutung sind, um Sicherheit zu gewährleisten, die Kommunikation zu verbessern und damit das Situationsbewusstsein sowie die Entscheidungsfindung im Cockpit zu verbessern. Machen Sie weiter und wissen Sie, dass das, woran Sie arbeiten, zählt!