Handlungsfeld algorithmenbasierte Diskriminierung

Algorithmenbasierte Diskriminierung zu adressieren und dieser entgegenzuwirken stellt eine der größten, aktuellen Herausforderungen der Antidiskriminierungsarbeit dar. Dies liegt vor allem daran, dass algorithmenbasierte Anwendungen und automatisierte Entscheidungsprozesse (ADM) zunehmend in existentiell wichtigen Lebensbereichen, wie beim Zugang zum Arbeits- und Wohnungsmarkt, bei der Kreditvergabe oder der Errechnung von Versicherungspolicen eingesetzt werden.

Die Nutzung biometrischer Daten (Gefahr des Racial Profiling), datenanalytische Prognosetechniken bei der Polizei („Predictive Policing“) oder der Bereich Legal Tech sind weitere Beispiele für hochsensible Anwendungsfelder von Algorithmen, ADM (automatisierten Entscheidungssystemen) bzw. künstlicher Intelligenz.
Es hat sich gezeigt, dass das Aufdecken solcher Diskriminierungsvorfälle bis zur Rechtsdurchsetzung für Betroffene wesentlich höherschwellig ist als bei „analogen“ Benachteiligungen. Oftmals wissen die Betroffenen nicht, dass sie benachteiligt wurden oder dies kann schwer oder gar nicht belegt werden. Dies liegt u.a. daran, dass die hierfür verantwortlichen Codes oft nicht zugängig für Dritte sind (bspw. Geschäftsgeheimnis oder geistiges Eigentum des Unternehmens), keine ausreichende bzw. standardisierte, technische Dokumentation vorliegt oder das technische Knowhow zur Überprüfung fehlt.
Die Verwaltung bzw. öffentliche Hand muss aufgrund ihrer Schlüsselfunktion bspw. bei der Daseinsfürsorge, der Gesetzgebung oder der Rechtsprechung eine Vorreiterrolle gegenüber dem privaten Sektor einnehmen, um einen diskriminierungssensiblen, sozial gerechten und diversityorientierten Einsatz von Algorithmen (ADM und KI), inklusive entsprechender Beschwerdemöglichkeiten bzw. Rechtsdurchsetzung bei algorithmenbasierter Diskriminierung sicherzustellen.

Bei der Entwicklung von Strategien und Maßnahmen, die der algorithmenbasierten Diskriminierung entgegenwirken sollen, wird der starke Bezug zu Diversity und Chancengleichheit im Besonderen anhand folgender Punkte offenkundig:

• Datensätze: je diversitygerechter, repräsentativer und transparenter die zugrundeliegenden Datensätze, d.h. die Trainingsdaten, als auch die konstant zu integrierenden Daten sind, desto geringer ist das Diskriminierungsrisiko

• Faktor Mensch: je diversity- und diskriminierungssensibler die Personen sind, die ADM programmieren, beauftragen und anwenden (d.h. auch die finale Entscheidung treffen), desto geringer wird das Diskriminierungspotential der eingesetzten Algorithmen sein bzw. desto sensibler wird mit Beschwerde- und Verbesserungsmöglichkeiten umgegangen werden

• Vergabekriterien: je diskriminierungssensibler und diversityorientierter die Vergabekriterien (für die Programmierung von ADM bzw. die Beauftragung von IT-Dienstleister*innen) durch die Verwaltung definiert sind, desto besser können digitale Gleichbehandlung und Chancengleichheit bereits bei der Entwicklung von algorithmenbasierten Anwendungen und ADM eingehalten werden.

Neben wichtigen fachpolitischen Voten und Stellungnahmen, wie bspw. zur EU-Verordnung zu Künstlicher Intelligenz oder zur Berliner Digitalstrategie „Gemeinsam, Digital: Berlin“, arbeitet die LADS in spezifischen Praxisprojekten eng mit anderen Senatsverwaltungen zusammen. Hierbei geht es darum, bei der Entwicklung von Modellprojekten möglichst präventiv eine diversitygerechte und diskriminierungssensible Digitalisierung der Berliner Verwaltung zu ermöglichen. Ebenso sind digitale Gleichbehandlung und Chancengleichheit als ressortübergreifende Querschnittsaufgaben bei der Technologiefolgenabschätzung zu berücksichtigen und geeignete Empfehlungen und Maßnahmen zu formulieren. Darüber hinaus arbeitet die LADS mit zivilgesellschaftlichen Akteur*innen wie der Verbraucherschutzzentrale auf Bundes- und Landesebene oder der NGO Algorithm Watch zusammen, um die breite Öffentlichkeit, als auch Beratungsstellen und Verwaltung zu diesen Themen zu sensibilisieren. Das Projekt Autocheck, finanziert von der Antidiskriminierungsstelle des Bundes, bietet bspw. Informationen und Workshops für Mitarbeitende von Beratungsstellen an, um Betroffene besser zu Diskriminierungsvorfällen in diesem neuen Handlungsfeld beraten zu können.

Falls Sie selbst schlechte Erfahrungen mit automatisierten Entscheidungen gemacht haben, nehmen Sie an der neuen Umfrage zu Problemen mit Online-Formularen teil und melden diese auf der Plattform Unding! Unding ist eine Kooperation zwischen der Verbraucherzentrale und Algorithm Watch, um automatisierte Entscheidungen anzufechten und die Datenlage zu solchen Vorfällen zu verbessern.

Falls Sie Interesse haben, sich tiefergehend über das Thema zu informieren, lesen Sie gerne folgende Publikationen: