Algorithmenbasierte Diskriminierung zu adressieren und dieser entgegenzuwirken stellt eine der größten, aktuellen Herausforderungen der Antidiskriminierungsarbeit dar. Dies liegt vor allem daran, dass algorithmenbasierte Anwendungen und automatisierte Entscheidungsprozesse (ADM) zunehmend in existentiell wichtigen Lebensbereichen, wie beim Zugang zum Arbeits- und Wohnungsmarkt, bei der Kreditvergabe oder der Errechnung von Versicherungspolicen eingesetzt werden.
Die Nutzung biometrischer Daten (Gefahr des Racial Profiling), datenanalytische Prognosetechniken bei der Polizei („Predictive Policing“) oder der Bereich Legal Tech sind weitere Beispiele für hochsensible Anwendungsfelder von Algorithmen, ADM (automatisierten Entscheidungssystemen) bzw. künstlicher Intelligenz.
Es hat sich gezeigt, dass das Aufdecken solcher Diskriminierungsvorfälle bis zur Rechtsdurchsetzung für Betroffene wesentlich höherschwellig ist als bei „analogen“ Benachteiligungen. Oftmals wissen die Betroffenen nicht, dass sie benachteiligt wurden oder dies kann schwer oder gar nicht belegt werden. Dies liegt u.a. daran, dass die hierfür verantwortlichen Codes oft nicht zugängig für Dritte sind (bspw. Geschäftsgeheimnis oder geistiges Eigentum des Unternehmens), keine ausreichende bzw. standardisierte, technische Dokumentation vorliegt oder das technische Knowhow zur Überprüfung fehlt.
Die Verwaltung bzw. öffentliche Hand muss aufgrund ihrer Schlüsselfunktion bspw. bei der Daseinsfürsorge, der Gesetzgebung oder der Rechtsprechung eine Vorreiterrolle gegenüber dem privaten Sektor einnehmen, um einen diskriminierungssensiblen, sozial gerechten und diversityorientierten Einsatz von Algorithmen (ADM und KI), inklusive entsprechender Be-schwerdemöglichkeiten bzw. Rechtsdurchsetzung bei algorithmenbasierter Diskriminierung sicherzustellen.