Bias-Audit-Pflichten für KI im Recruiting: NYC Local Law 144, Illinois, Colorado, EU AI Act und Großbritannien

Was die Bias-Audit-Pflichten für KI im Recruiting messen: Auswahlquoten und Impact Ratios

Ein Bias-Audit vergleicht Ergebnisse zwischen Gruppen. Nach den Regeln von New York City ist die Auswahlquote (Selection Rate) der Anteil einer Gruppe, der weiterkommt. Die Impact Ratio ist diese Quote geteilt durch die Quote der am häufigsten ausgewählten Gruppe. Bei Tools, die Scores vergeben, zählt die Scoring Rate, also der Anteil einer Gruppe mit einem Score über dem Median. Das Beispiel der Stadt: Werden 40 von 100 hispanischen Frauen, die sich bewerben, zum Interview eingeladen, liegt ihre Auswahlquote bei 40 Prozent.

Die Stadt erklärt, ihre Berechnungen stimmten mit den Uniform Guidelines on Employee Selection Procedures der US-Bundesregierung vom 25. August 1978 überein. Nach 29 CFR 1607.4(D) gilt eine Auswahlquote unter vier Fünfteln, also 80 Prozent, der Quote der Gruppe mit der höchsten Quote als allgemeiner Beleg für eine nachteilige Wirkung. Local Law 144 verlangt die Berechnung, legt aber keinen Schwellenwert fest und fordert keine bestimmte Reaktion auf die Ergebnisse.

Forschung zeigt, warum Aufsichtsbehörden die Zahlen sehen wollen. In einer Studie der University of Washington, vorgestellt im Oktober 2024, brachten drei KI-Modelle mehr als 550 echte Lebensläufe in eine Rangfolge, bei denen nur die Namen geändert waren. Namen, die als weiß gelten, wurden in 85 Prozent der Fälle bevorzugt, Namen, die als Schwarz gelten, in 9 Prozent.

Belege: [1][2][3][4]

NYC Local Law 144: jedes Jahr ein unabhängiges, veröffentlichtes Audit

Local Law 144 aus dem Jahr 2021 steht im New York City Administrative Code in den Abschnitten 20-870 bis 20-874. Es trat am 1. Januar 2023 in Kraft und wird seit dem 5. Juli 2023 durchgesetzt. Es erfasst Software auf Basis von maschinellem Lernen, Statistik oder KI, die einen Score, eine Einstufung oder eine Empfehlung ausgibt. Diese Ausgabe muss Einstellungs- oder Beförderungsentscheidungen mit Ermessensspielraum wesentlich unterstützen oder ersetzen, bei Stellen mit Bezug zu einem Büro in der Stadt.

Vor dem Einsatz braucht der Arbeitgeber ein Bias-Audit durch eine unabhängige Prüfstelle aus dem vergangenen Jahr. Dazu kommt eine öffentliche Zusammenfassung mit dem Datum des Audits, der Datenquelle und der Zahl der Personen in unbekannten Kategorien. Sie nennt außerdem die Quoten und Impact Ratios für Geschlecht, ethnische Herkunft und deren Überschneidungen. Bewerber:innen, die in der Stadt wohnen, müssen mindestens 10 Arbeitstage vor dem Einsatz informiert werden. Der Hinweis muss auch sagen, wie sie ein alternatives Auswahlverfahren oder angemessene Vorkehrungen beantragen können.

Ein Anbieter darf das Audit in Auftrag geben, doch der Arbeitgeber bleibt dafür verantwortlich, dass es existiert. Die Prüfstelle darf weder für den Anbieter noch für den Arbeitgeber arbeiten und an keinem von beiden finanziell beteiligt sein. Tools, die nur Lebenslauf-Datenbanken durchsuchen oder zur Bewerbung einladen, fallen nicht unter das Gesetz. Die Strafen nach Abschnitt 20-872 betragen bis zu 500 US-Dollar für einen ersten Verstoß und 500 bis 1.500 US-Dollar für jeden weiteren. Jeder Tag des Einsatzes zählt dabei als eigener Verstoß.

Die Durchsetzung ist bisher schwach. Eine Prüfung der Rechnungsprüfungsbehörde des Bundesstaats New York (New York State Comptroller) vom Dezember 2025 betraf den Zeitraum Juli 2023 bis Juni 2025. Danach hatte die Verbraucherschutzbehörde der Stadt 32 veröffentlichte Bias-Audits geprüft und einen Fall von Nichteinhaltung gefunden. Die Prüfer:innen der Rechnungsprüfungsbehörde fanden in denselben Audits mindestens 17 mögliche Probleme. In Tests erreichten 75 Prozent der Anrufe bei der städtischen Hotline 311 zu diesen Tools die Behörde nie.

Belege: [5][6][2][1][7]

Illinois, Colorado und Kalifornien: Hinweis- und Antidiskriminierungsregeln ohne Audit-Pflicht

Illinois hat seinen Human Rights Act durch HB 3773 geändert, Public Act 103-0804, in Kraft seit dem 1. Januar 2026 (775 ILCS 5/2-102). Arbeitgeber dürfen keine KI nutzen, die sich diskriminierend auf eine geschützte Gruppe auswirkt, und keine Postleitzahlen als Ersatzmerkmal (Proxy) verwenden. Sie müssen einen Hinweis geben, wenn KI bei Recruiting, Einstellung, Beförderung, Disziplinarmaßnahmen und anderen Personalentscheidungen eingesetzt wird. Ein Audit verlangt das Gesetz nicht ausdrücklich.

Die Menschenrechtsbehörde von Illinois (Illinois Department of Human Rights) veröffentlichte am 15. Mai 2026 Entwürfe für Regeln zum Hinweis und zog sie am 2. Juni 2026 zurück. Das Gesetz gilt trotzdem. Ein separates Gesetz aus Illinois zu aufgezeichneten Videointerviews erklären wir in unserem Ratgeber zu KI-Videointerview-Software.

Colorado zeigt, wie schnell sich diese Regeln ändern. Am 27. April 2026 stoppte ein US-Bundesgericht (Magistrate Judge) die Durchsetzung des Colorado AI Act von 2024. Geklagt hatte xAI, und das US-Justizministerium war dem Verfahren beigetreten. Der Bundesstaat ersetzte das Gesetz daraufhin durch Senate Bill 26-189, unterzeichnet am 14. Mai 2026 und wirksam ab dem 1. Januar 2027. Das neue Gesetz streicht die Folgenabschätzungen (Impact Assessments). Arbeitgeber, deren automatisierte Tools Einstellungen wesentlich beeinflussen, müssen im Moment der Interaktion einen Hinweis geben und nachteilige Ergebnisse innerhalb von 30 Tagen erklären. Sie müssen die Korrektur von Daten ermöglichen, wo wirtschaftlich zumutbar eine echte menschliche Überprüfung anbieten und Unterlagen drei Jahre aufbewahren.

Auch Kalifornien schreibt kein Audit vor. Die Vorschriften des Civil Rights Council zum Fair Employment and Housing Act gelten seit dem 1. Oktober 2025. Sie stellen klar, dass ein automatisiertes Entscheidungssystem gegen das Antidiskriminierungsrecht verstoßen kann. Arbeitgeber müssen Daten aus automatisierten Entscheidungen mindestens vier Jahre aufbewahren.

Belege: [8][9][10][11][12][13][14][15][16][6]

EU AI Act: CV-Screening ist Hochrisiko, mit Pflichten ab dem 2. Dezember 2027

Der EU AI Act, Verordnung (EU) 2024/1689, führt KI für Einstellung oder Auswahl in Anhang III Nr. 4 Buchst. a als Hochrisiko. Dazu gehören das Analysieren und Filtern von Bewerbungen und die Bewertung von Bewerber:innen. Der Digital-Omnibus, ein Änderungspaket der EU (Verordnung (EU) 2026/1744), ist seit dem 27. Juli 2026 in Kraft. Er hat diese Pflichten vom 2. August 2026 auf den 2. Dezember 2027 verschoben.

Die meiste Arbeit gegen Verzerrungen liegt beim Anbieter. Art. 10 verlangt, die Daten hinter dem System auf mögliche Verzerrungen (Bias) zu untersuchen und Maßnahmen zu treffen, um sie zu erkennen, zu verhindern und abzumildern. Ein neuer Art. 4a aus dem Omnibus erlaubt Anbietern und einsetzenden Unternehmen (Betreibern), besondere Kategorien personenbezogener Daten zu verarbeiten, wenn das zur Erkennung und Korrektur von Bias unbedingt nötig ist. Dafür gelten Schutzmaßnahmen wie die Pseudonymisierung. Für Systeme im Beschäftigungsbereich bewerten Anbieter die Konformität nach Art. 43 Abs. 2 selbst, ohne notifizierte Stelle.

Arbeitgeber sind als Betreiber an die Pflichten aus Art. 26 gebunden. Sie müssen die Gebrauchsanweisung befolgen, die menschliche Aufsicht geschultem Personal übertragen und die Eingabedaten, die sie steuern, relevant und ausreichend repräsentativ halten. Außerdem müssen sie das System überwachen, Protokolle mindestens sechs Monate aufbewahren und die Arbeitnehmervertretungen vor dem Einsatz am Arbeitsplatz informieren. Der Schwerpunkt liegt auf Tests und Aufsicht, nicht auf einer veröffentlichten Audit-Zusammenfassung wie in New York City.

Das Datenschutzrecht gilt bereits. Der Gerichtshof der Europäischen Union hat dazu im Fall SCHUFA (C-634/21, 7. Dezember 2023) entschieden. Nutzt ein Unternehmen den Score eines anderen und gibt ihm eine maßgebliche Rolle, ist der Score selbst eine automatisierte Einzelentscheidung nach Art. 22 DSGVO und grundsätzlich verboten. Ein Score für Bewerber:innen, dem Recruiter:innen ohne echte Prüfung folgen, kann dieselbe Frage aufwerfen.

Belege: [15][16][17][18][19][20][21][22][23][24]

Großbritannien: Gleichbehandlungsrecht und Regeln für automatisierte Entscheidungen statt Audit-Pflicht

Großbritannien kennt keine Audit-Pflicht nach dem Vorbild von New York City, dort greift das bestehende Recht. Nach Abschnitt 19 des Equality Act 2010 ist eine Vorschrift, ein Kriterium oder eine Praxis mittelbare Diskriminierung, wenn sie Menschen mit einem gemeinsamen geschützten Merkmal besonders benachteiligt. Das gilt nicht, wenn der Arbeitgeber zeigen kann, dass sie ein verhältnismäßiges Mittel zu einem legitimen Ziel ist.

Abschnitt 80 des Data (Use and Access) Act 2025 hat Art. 22 der UK GDPR (britische Fassung der DSGVO) durch die Art. 22A bis 22D ersetzt. Diese Regeln gelten seit dem 5. Februar 2026 vollständig. Rein automatisierte erhebliche Entscheidungen sind mit Schutzmaßnahmen erlaubt, darunter Information, die Möglichkeit zur Stellungnahme, menschliches Eingreifen und ein Weg, die Entscheidung anzufechten. Beruhen solche Entscheidungen auf besonderen Kategorien personenbezogener Daten, sind sie eingeschränkt.

Die Aufsicht erwartet trotzdem Tests. Nach einer Prüfung von Anbietern von KI-Recruiting-Tools gab die britische Datenschutzbehörde ICO im November 2024 fast 300 Empfehlungen. Sie hatte Tools gefunden, mit denen Recruiter:innen Bewerber:innen mit geschützten Merkmalen herausfiltern konnten, und Anbieter, die Geschlecht und ethnische Herkunft aus Namen ableiteten. Im März 2026 forderte die ICO Arbeitgeber, die bei Einstellungen automatisierte Entscheidungen nutzen, zu regelmäßigen Tests auf verzerrte Ergebnisse auf.

Belege: [25][26][27][28]

Weitere Märkte: Offenlegung und Recht auf Erklärung

Die übrigen geprüften Regeln verlangen Offenlegung oder Erklärung statt Audits. Seit dem 1. Januar 2026 gilt in der kanadischen Provinz Ontario die Regulation 476/24 zum Employment Standards Act, 2000. Sie verpflichtet Arbeitgeber mit 25 oder mehr Beschäftigten, in öffentlichen Stellenanzeigen anzugeben, ob KI Bewerber:innen sichtet, bewertet oder auswählt. Chinas Datenschutzgesetz, das Personal Information Protection Law, ist seit dem 1. November 2021 in Kraft. Nach Art. 24 haben Menschen ein Recht auf Erklärung automatisierter Entscheidungen, die sie erheblich betreffen, und dürfen rein automatisierte Entscheidungen ablehnen.

Südkoreas Framework Act on the Development of Artificial Intelligence gilt seit dem 22. Januar 2026. Sein Art. 2 zählt Bewertungen mit erheblicher Wirkung auf die Rechte einer Person, etwa Personalentscheidungen, zur KI mit hoher Auswirkung (High-Impact AI). Auch die Offenlegung durch Anbieter ist unterschiedlich. Gupy, ein brasilianisches Bewerbermanagement-System, erklärt, seine KI sortiere Bewerbungen nach Passung, die Auswahl bleibe Sache des Arbeitgebers. Seine Seite zur KI-Transparenz nennt aber keine Ergebnisse von Bias-Tests.

Belege: [14][29][30][31]

Eine praktische Checkliste, bevor Sie sich auf ein Bias-Audit verlassen

Ein veröffentlichtes Audit ist ein Ausgangspunkt, kein Urteil. Die in New York City vorgeschriebenen Berechnungen erfassen Geschlecht und ethnische Herkunft, nicht aber Alter oder Behinderung. Die Gruppe, die im US-Verfahren Mobley v. Workday um KI-Screening zugelassen wurde, ist dagegen über das Alter definiert. Am 16. Mai 2025 ließ ein Bundesgericht in Kalifornien vorläufig eine landesweite Sammelklage (Collective Action) zu. Sie umfasst Bewerber:innen ab 40 Jahren, die sich seit dem 24. September 2020 über die Plattform von Workday beworben und keine Einstellungsempfehlung erhalten haben. Workday kann weiterhin beantragen, diese Zulassung aufzuheben.

Eightfold AI veröffentlicht Audits von BABL AI, die Methode und Grenzen zeigen. Das Audit des Matching-Modells vom März 2026 umfasste mehr als 29 Millionen Bewertungen mit selbst angegebenen demografischen Daten. Alle Gruppen lagen über 0,8, die niedrigste bei 0,880. Das Audit schloss aber auch 74.997.062 Datensätze mit unbekanntem Geschlecht und 85.587.944 mit unbekannter ethnischer Herkunft aus.

Auch Testdaten haben Grenzen. Das Audit des AI Interviewer von Eightfold vom Juni 2026 prüfte die ethnische Herkunft an synthetischen Interviews. Dabei spielte ein großes Sprachmodell 12 Bewerber-Personas, weil echte Daten nicht ausreichten. New York City erlaubt in diesem Fall Testdaten, aber keine abgeleiteten demografischen Merkmale.

Zertifikate sind ebenfalls keine Audits. In unserem Verzeichnis nennen 3 der 25 Tools für CV-Screening die Norm ISO/IEC 42001. Bizneo beschreibt sie als Bestätigung seines Managementsystems für KI. Das zeigt, wie ein Anbieter sein KI-Programm führt, nicht die Impact Ratios Ihres Modells.

Belege: [32][5][33][34][2][35][36][13][12][21]