ForschungsLabor "Machine Learning, Rassismus und Diskriminierung"
Eine Kooperation zwischen dem Institut für Soziologie und Kulturorganisation sowie dem Centre for Digital Cultures der Leuphana Universität Lüneburg und dem Nationalen Diskriminierungs- und Rassismusmonitor (NaDiRa) des DeZIM-Instituts.
Künstliche Intelligenz (KI) ist weltweit auf dem Vormarsch, auch in Deutschland. Sie wird zunehmend eingesetzt, um digitale, insbesondere personenbezogene Daten zu verarbeiten. Das hat Folgen etwa in der Strafjustiz, Medizin, Biometrie und Personalauswahl, die im angelsächsischen Raum bereits breit und interdisziplinär erforscht werden. Dabei geht es vor allem darum, wie Machine Learning mit racial discrimination bzw. racial bias zusammenhängt.
Weitestgehend unstrittig ist, dass der Einsatz von Machine Learning Software Ungleichheiten und Diskriminierung nicht neutralisiert, sondern diese reproduzieren oder gar verstärken kann. Ob dafür die Datensätze, mit denen die Software „trainiert“ wird, oder die Architektur des Codes verantwortlich ist, wird hingegen kontrovers diskutiert.
Um solche Fragestellungen empirisch untersuchen zu können, müssen Merkmale, auf Grund derer Personen als Angehörige einer „racial group“ identifiziert werden, standardisiert und eindeutig statistisch erfasst werden – wie es in den USA oder in Großbritannien geschieht. Dass dort solche Merkmale erhoben werden, verweist wiederum auf historisch-spezifische Formationsprozesse („racial formation“). Diese tragen dazu bei, dass sich kollektive Identitäten herausbilden, die dann als Untersuchungsgegenstand vorausgesetzt werden. Derartige Wissensbestände, die eine eindeutige Kategorisierung von Menschen ermöglichen, existieren in Deutschland in weit geringerem Umfang.
Welche Rolle spielen hierzulande digitale Technologien wie Machine Learning bei der Reproduktion oder Intensivierung von racial bias und discrimination? Welche Methoden eignen sich, um mögliche, auch verzerrende Effekte von Algorithmen und daraus resultierende gesellschaftliche Benachteiligungen empirisch zu untersuchen? Können Vergleiche zwischen digitalen Kulturen, die auf unterschiedlichen Prozessen der „racial formation“ beruhen, zu einem besseren Verständnis rassistischer Diskriminierung beitragen? Trägt die Wahrnehmung von KI als neutrale und objektive Technologie zu einer Verstärkung von Diskriminierungseffekten bei?
Das ForschungsLabor „Machine Learning, Rassismus und Diskriminierung“ ermöglicht es Forscher*innen und Expert*innen unterschiedlicher Disziplinen, sich über diese Fragen auszutauschen und neue Forschungsansätze und -methoden zu entwickeln. Das Labor bietet darüber hinaus die einzigartige Gelegenheit, die in den Arbeitsgruppen entwickelten innovativen Methodendesigns im Kontext des „Nationalen Diskriminierungs- und Rassismusmonitors“ zu erproben.
Projektlaufzeit: August 2022 – Juli 2023
Ansprechperson: Prof. Dr. Serhat Karakayali
Veranstaltungen
BEYOND BIAS AND ITS CORRECTIONS
Prof. Howard Caygill
WORKSHOP, JANUARY 12, 2023
12.15-13.45h, C5.015
Bias is a metaphor that names systemic distortions in the social and political arena. The notion of bias also draws on a long history of conceptual commitments with rival and conflicting philosophical provenance. Any attempt to limit the workings of bias within an entangled technical arena must grapple with this confounding legacy. Prof. Dr. Howard Caygill (Kingston University London) will ask if and how effective countermeasures may be devised.
Directed by Cheryce von Xylander, PhD
Hosted by Prof. Dr. Serhat Karakayali
Institute for Sociology and Cultural Organisation (ISKO)