NAEP Summer Intern Blog-Serie: Lernen über Gerechtigkeit und Fairness in der Bewertung

8. Dezember 2021

Im Laufe des Sommers heben wir die Erfahrungen einiger unserer NAEP-Praktikanten hervor, in ihren eigenen Worten. 

Der Beitrag dieser Woche ist aus der Perspektive sowohl von Janine Jackson als auch von Christopher Terrazas. In diesem Sommer arbeitet Janine mit der leitenden Forschungswissenschaftlerin und strategischen Beraterin Catherine Millett im Policy Evaluation and Research Center (PERC) der ETS an einem Projekt zusammen, das zukünftige Profils von Graduierten untersucht. Christopher arbeitet mit den ETS-Forschern Geoffrey Phelps und Cara Cahalan Laitusis sowie dem leitenden Programmberater des NAEP-Programms, Jhan Doughty-Berry, an einem Projekt zusammen, das das Potenzial analysiert, Lehrer- und Studierendenperspektiven in NAEP mithilfe von Empathiekarten zu erforschen. Hier ist ihre neueste Sichtweise darauf, was sie von unserem Team zu Gerechtigkeit und Fairness in der Bewertung gelernt haben:

Janine Jackson:

Zunächst möchte ich sagen, dass ich ständig bete, dass die Zeit langsamer wird, weil der Sommer viel zu schnell vergeht und ich nicht möchte, dass diese Erfahrung endet. Die Möglichkeit und der Raum zu haben, Menschen zu treffen und mit ihnen zu sprechen, die meine Leidenschaft für alles, was mit "Messung" zu tun hat, teilen lassen, ist absolut inspirierend. Die letzten Wochen waren schlichtweg großartig, aber besonders diese Woche war spektakulär.

Meine Mitpraktikanten und ich trafen uns mit den Forschungs- und Entwicklungsmitarbeitern von ETS, Michael Walker, Cara Cahalan Laitusis, Randy Bennett und Haley Lemp, um mehr über Fairness, Gerechtigkeit und Zugänglichkeit in Bewertung und Lernen zu sprechen. Es ist ermutigend festzustellen, dass das Thema Fairness und Equity in der Bewertung seit langem ein Schwerpunkt von ETS ist. Laut dem Gremium wurde stets darauf geachtet, "keinen Schaden anzurichten", also Verzerrungen durch Differential Item Functioning (DIF)-Analyse und Item-Content Review zu identifizieren, zu entfernen und zu verhindern. Neben der kontinuierlichen Arbeit an Schadensverweigerung gibt es einen zusätzlichen Antrieb zur Entwicklung von Lernwerkzeugen und Bewertungsprodukten, die zur sozialen Gerechtigkeit beitragen. Darüber hinaus wird bei ETS aus KI-Sicht viel daran gearbeitet, Produkte von Anfang bis Ende mit einer zugänglichen und fairen Benutzererfahrung zu gestalten, indem die Erkenntnisse aus dem Universal Design for Learning (UDL)-Rahmen integriert werden. Diese Art von Arbeit erfordert viel Überlegung und Recherche, und es gibt Anstrengungen, um sicherzustellen, dass eine Vielzahl von Stimmen und Erfahrungen in die Diskussion einbezogen wird. Das war erst am Montag.

Am Dienstag lernten wir mehr über das "Leben eines Items". Von der Konzeption über die Verwaltung bis hin zur Bewertung und Berichterstattung fließen monatelange Arbeit in die Erstellung eines einzelnen Testpunktes. Wer hätte das gedacht?! Als angehender Psychometriker hat das Lernen über jeden Schritt im Detail von einer Organisation, die für exzellente Bewertungsentwicklung bekannt ist, mein Verständnis exponentiell erweitert.

Ebenfalls diese Woche wurden wir mit ETS-Mitarbeitern zusammengebracht, die unsere Hintergründe und Interessen teilen und uns Zeit von unseren Projekten gaben, um über ihren Weg zur Anstellung bei ETS, ihre täglichen Arbeitserfahrungen sowie die damit verbundenen Erfolge und Herausforderungen zu sprechen. Ich hatte das Glück, mit Kelsei Thomas von New Product Development zusammengebracht zu werden, und wir hatten ein angenehmes und informatives Gespräch. Wie jeder Mitarbeiter, den ich bisher getroffen habe, hörte Kelsei sich meine Ideen und Perspektiven an und stellte mich anderen ETS-Mitarbeitern vor, die Einblicke in meine Forschung geben können. Dafür bin ich dankbar.

Zum Abschluss der Woche konnten wir uns mit Alumni unserer jeweiligen Hochschulen und Universitäten treffen. Es war sehr aufregend, die ebenfalls Morgan State University-Alumna Aisha Torres kennenzulernen, die erzählte, wie ihre Ausbildung und Erfahrung an der Universität sie auf ihre Arbeit an der ETS vorbereitet haben. Wir sprachen ausführlich über die Curriculum-Abstimmung, Networking und Diversity-Training, und am Ende unseres Gesprächs war ich noch stolzer, als Graduiertenstudentin an der HBCU und dem nationalen Schatz der Morgan State University zu sein.

Jede Woche wird die Erfahrung bei ETS besser. Ich weiß, dass ich zu Forschung beitrage, die andere auf sinnvolle Weise beeinflussen kann. Meine Mentoren und Teammitglieder im Policy Evaluation and Research Center (PERC), Catherine Millett, Marisol Kevelson und Anjali Srivastava, haben mir in dieser kurzen Zeit als Autorin und Datenanalystin geholfen, zu wachsen. Es fühlt sich großartig an, morgens aufzuwachen und mich auf die Arbeit zu freuen. Ich freue mich auf nächste Woche.

Christopher Terrazas:

In der vergangenen Woche konnte ich an einem Seminar teilnehmen, das sich mit Gerechtigkeit und Fairness in der Bewertung beschäftigte. Dieses Thema liegt mir sehr am Herzen, weil ich die letzten drei Jahre als Klassenlehrerin gearbeitet habe. In diesem Bereich konnte ich ein Umfeld schaffen und pflegen, das die Stimme, Erfahrung und Identität junger Menschen wertschätzt. Das war Gleichberechtigung am Arbeitsplatz.

Michael Walker, ein angesehener Präsidentschaftsbeauftragter und Direktor des ETS-Zentrums für Forschung zu Validität, Fairness und Gerechtigkeit im Lernen und Bewerten, leitete die Sitzung und gab jedem Praktikanten Zeit, ein wenig über sich selbst zu erzählen. Damit schuf er einen Raum, der allen Praktikanten den Zugang gab, einander auf die Stimme, Erfahrungen und gelebte Identitäten des anderen zu hören. Er schuf eine Atmosphäre, die fürsorglich und kraftvoll war. Er tat genau das, was ich als Klassenlehrer getan habe. Michael machte ebenfalls einen eindrucksvollen Kommentar. Er sagte: "Denn eine wichtige Anstrengung, die ETS zur Förderung von Gerechtigkeit unternimmt, ist, vielfältige Praktikanten einzuladen, mit uns zu arbeiten und uns zu lehren, was Sie wissen; in Kontakt zu bleiben und in Zukunft mit uns zusammenzuarbeiten, um das Fachgebiet in die richtige Richtung zu lenken." Eine weitere ETS-Teilnehmerin im Gespräch war die leitende leitende Forschungswissenschaftlerin Cara Cahalan Laitusis. Cara erwähnte uns während der Sitzung einen Kommentar, und ich fand ihn kraftvoll. Sie sagte: "... es geht um mehr als nur ein diverses Team, sondern auch darum, Menschen zu befähigen, sich zu äußern."

Solche Kommentare in unserem Treffen zeigen den Wert, den diese beiden ETS-Mitglieder und ETS für die Erhöhung von Gerechtigkeit und Fairness in der Bewertung in der Bildung haben. Es ist offensichtlich, dass diese Arbeit jetzt wichtiger denn je ist, da Institutionen hinterfragt werden.

Janine Jackson ist eine NAEP-Summer Pre-Doctoral Research Experience (SPRE) Praktikantin und verfolgt derzeit ihren Doktortitel in Psychometrie an der Morgan State University in Baltimore, Maryland. Christopher Terrazas ist ein NAEP-Summer Pre-Doctoral Research Experience Praktikant, der derzeit an der University of Texas in Austin promoviert.