Fragen und Antworten mit einem Forscher: Jonathan Weeks
Ayleen Gontz, leitende Redakteurin für Forschung, interviewte den leitenden Messwissenschaftler Jonathan Weeks über seine Arbeit bei ETS und seine kürzliche Ernennung zum NCME-Programmleiter.
Jonathan Weeks liebt es nicht nur, mit Menschen in Kontakt zu treten, sondern auch Menschen zu verbinden. In seinen 13 Jahren bei ETS hat er für PISA (Programme for International Student Assessment), PIAAC (Program for the International Assessment of Adult Competences) und K–12 geforscht; maß an der Entwicklung grundlegender Lesefähigkeiten mit; und arbeitete sogar an einigen Tests für die CIA. Sein Hauptfokus liegt derzeit auf ECLS–K (Early Childhood Longitudinal Studies–Kindergarten) und anderen vom National Center for Education Statistics geleiteten Longitudinalstudien für Mittel- und Oberschüler.
Vielleicht findest du ihn an Ankertagen in seinem Büro, wo er ein Problem auf seinem Whiteboard löst, aber wahrscheinlicher trifft man ihn auf den Fluren, wie er mit Kollegen über Forschungsthemen spricht. Wenn du auf Jonathan triffst, bleib stehen und sag Hallo. Falls es keine Forschungsfragen gibt, frag ihn, was du am Wochenende streamen oder lesen kannst, sprich mit ihm über das Coaching im Jugendsport oder lass ihn dir von seinem Mentor erzählen.
Ich habe in deiner Biografie zu ets.org gesehen, dass du einen Bachelor-Abschluss in Englisch vom Colorado College hast. Wie bist du vom Englisch-Hauptfach zu einem Job gekommen, der auf mathematischen Theorien basiert?
Das werde ich immer gefragt. Ich meine, kein junges Kind sitzt da und denkt: "Ich will später Psychometriker werden." Ich dachte, ich wollte Englischlehrer an einer High School werden, aber ich hatte kein Lehrzertifikat. Also habe ich schließlich einen Job in einem Schulbezirk angenommen, mit der Idee, dass ich, sobald ich mein Zertifikat habe, zu ihnen gehen und sagen könnte: "Hey, ich arbeite für Sie. Geben Sie mir einen Job." Es stellte sich heraus, dass ich eine Stelle als Sekretärin in einem Schulbezirk in Colorado Springs bekam, und nach einigen Jahren wurde ich der Hauptdatenanalyst in deren Bewertungsbüro.
Zu diesem Zeitpunkt hatte ich in meinem Leben noch nie einen Statistikkurs besucht.
Ich dachte: "Das ist ziemlich gefährlich. Ich sollte das herausfinden." Ich ging zurück zur Schule und machte einen Masterabschluss in Pädagogischer Psychologie mit Schwerpunkt quantitativer Methoden. Ich hatte Ideen, wie ich verschiedene Themen angehen könnte, aber niemand wollte mir zuhören, weil ich keinen Doktortitel hatte. Also ging ich wieder zur Schule mit Blick auf Bildungspolitik. Bald entdeckte ich, dass Politik eigentlich mehr Politik bedeutet, und entschied, dass ich weniger interessiert war. Das war Anfang der 2000er Jahre, als in der K–12-Bildung großer Wert auf Wachstumsmodelle lag.
An diesem Punkt dachte ich, ich wolle ein besseres Wachstumsmodell entwickeln, aber letztlich interessierte mich ich viel mehr dafür, wie Skalen konstruiert werden. Ich konzentrierte mich schließlich auf Themen rund um die Schaffung vertikaler Skalen, das Problem des Konstruktshifts und insbesondere die Entwicklung multidimensionaler vertikaler Skalen. Dies ist ein Forschungsgebiet, das mich bis heute interessiert.
Können Sie mir ein Beispiel für Ihre Forschung geben?
Ich habe eine beträchtliche Menge an der Entwicklung von Maßen grundlegender Lesefähigkeiten gearbeitet; der Test heißt ReadBasix. Einer der Artikel, auf die ich am meisten stolz bin, "An Application of Multidimensional Vertical Scaling", liefert im Wesentlichen ein Validitätsargument für die multidimensionale Struktur und die zugrundeliegende multidimensionale vertikale Skala für die sechs ReadBasix-Untertests.
Soweit ich es verstehe, haben wir zu Beginn unserer Entwicklung eine Reihe grundlegender Fähigkeiten, die alle lose integriert sind. Mit zunehmender Lesekompetenz verweben sich diese Fähigkeiten zu zwei Korden – wortbezogenen Fähigkeiten und Verstehensfähigkeiten –, bis sie schließlich eine einzige Schnur bilden. Die lose integrierten Fähigkeiten entsprechen den sechs Faktoren. Diese verschiedenen Fähigkeiten sind immer vorhanden, werden aber stärker integriert, um die beiden Korden und die enger integrierte einzelne Schnur zu erzeugen. Ich war sehr begeistert zu erfahren, dass meine Forschung mit empirischen Daten Belege für einen theoretischen Rahmen lieferte, von dem ich zuvor nichts wusste.
Ich habe gehört, Sie waren einer der Programmleiter der jüngsten NCME-Konferenz (National Council for Measurement in Education). Worauf freuen Sie sich am meisten an dieser Planung?
Ich habe einen meiner Lieblingsautoren eingeladen, unser Hauptredner zu sein. Sam Kean ist Wissenschaftshistoriker und New York Times-Bestsellerautor von The Disappearing Spoon und mehreren anderen Büchern. Kurz gesagt, er erzählt Geschichten über Wissenschaft durch eine Reihe historischer Vignetten. Diese Geschichten sind eine Wendung der Geschichte, die jeder zu kennen glaubt.
Sam ist kein "Mess-Mensch", aber durch die Perspektive, durch die er blickt, hilft er den Menschen, Geschichte und Wissenschaft auf eine etwas andere Weise zu betrachten. Meine Hoffnung ist, dass wir, wenn wir über das Messfeld nachdenken, auch durch eine etwas andere Linse schauen können. Können wir anders darüber nachdenken, wie wir "messen", welche Ansätze wir zur Entwicklung von Tests verwenden und welche Modelle wir zur Datenbewertung verwenden? Werden wir weiterhin das tun, was wir immer gemacht haben, oder sind wir offen dafür, neue Dinge auszuprobieren, die für die Prüflinge und unser Fachgebiet insgesamt vorteilhafter sein können?
Jetzt, wo die Konferenz vorbei ist, ist deine Arbeit erledigt?
Technisch gesehen ist meine Arbeit jetzt, da die Konferenz vorbei ist, erledigt. Aber ich habe mich freiwillig gemeldet, noch etwas länger zu bleiben, um bei der Automatisierung einiger Systeme zu helfen. Wenn man einer der Vorsitzenden ist und der Geist hier drüben ist, um alles zu organisieren, während man sich gleichzeitig um das Extrahieren und Reinigen von Daten kümmern muss... Das ist viel mehr Arbeit, als ich erwartet hatte. Ich würde gerne sehen, ob ich das für zukünftige Vorsitzende einfacher machen kann, damit sie nicht die ganze Zeit und Mühe investieren müssen, ein Skript zu programmieren oder Daten manuell zu durchsuchen.
Gibt es etwas in deinem Büro, auf das du nicht verzichten kannst?
Ich verbringe viel Zeit damit, vor einem Whiteboard zu stehen. So denke ich über meine Ideen und wie ich verarbeite, indem ich dort stehe und Dinge aufzeichnen.
Ich bin überall in den Dingen, an denen ich arbeite, und jedes dieser Projekte und Themen erfordert unterschiedliche Methoden und Strategien. Manche sind eher forschungsorientiert; andere sind einfach operative Projekte, die eine praktische Lösung erfordern. Selbst wenn ich im Büro bin, sieht man mich vielleicht gar nicht im Büro, weil ich herumlaufe und mit Leuten über ihre Arbeit spreche. Ich nenne mich einen "wandernden Psychometriker". Jemand könnte mich aufhalten und sagen: "Hey, wir hatten erwartet, 2.000 Kinder zu haben, aber wir haben nur 200 für unsere Forschung bekommen. Was machen wir?" oder "Ich versuche, Daten mit einer scheinbar normalen Faktorenstruktur zu simulieren, aber ich bekomme seltsame Ergebnisse, wenn ich die Daten analysiere. Hast du eine Ahnung warum?" Ich finde es gerne, diese nuancierteren Arten von Aufgaben zu lösen.
Und manchmal erweist sich etwas, bei dem ich in diesem Zusammenhang mithelfe, tatsächlich als Lösung für jemanden in einem anderen Kontext. Ich setze mich sehr für Interaktion ein und dafür, dass Menschen außerhalb ihrer spezifischen Bereiche arbeiten können. Das gesagt, möchte ich am Ende des Tages so vielen Menschen wie möglich helfen, so viel wie möglich zu verstehen, ohne praktische Einschränkungen zu beeinträchtigen – wie zum Beispiel, unsere Arbeit tatsächlich zu erledigen.