Vertrauen und Ethik werden im Kontext mit KI viel und kontrovers diskutiert; sowohl in der Öffentlichkeit als auch in Unternehmen. Laut einer Studie des ‚Institute of Business Value‘ [1] sagen 85 % der Unternehmen, dass KI-Ethik wichtig ist, um gesellschaftliche Herausforderungen zu lösen. Kritische Entscheidungen, wie die Einschätzung von Kreditwürdigkeit, Job-Einstellungen und Diagnosen im Gesundheitsbereich werden durch KI unterstützt. Ein Projekt an der Uniklinik Antwerpen zeigt, wie KI in einem klinischen Entscheidungs-Unterstützungs-System genutzt werden kann, um neonatale Sepsis frühzeitig zu detektieren. Dabei werden Ergebnisse der Algorithmen nicht nur angezeigt, sondern auch erklärt, um Ärzt_innen eine verantwortungsvolle Entscheidung und Therapie zu ermöglichen [2].

Risiken werden deutlich, wenn Negativbeispiele kursieren über Diskriminierung in Sprachverarbeitung oder Bilderkennung, Benachteiligung von Personen bei der Kreditvergabe oder im Rekrutierungsprozess aufgrund ihrer Herkunft oder ihres Geschlechts – häufig verbunden mit Imageschäden für Unternehmen und Misstrauen in KI. Nicht zuletzt aus diesen Gründen wurde von der Europäischen Kommission ein Vorschlag für eine Regulierung von KI-Systemen ausgearbeitet und im April 2021 vorgelegt [3]. Dabei werden vor allem kritische Entscheidungen von KI-Anwendungen reguliert, um hohe Risiken und deren Folgen zu mitigieren. Unternehmen im europäischen Raum befürchten einen Verlust der Innovationskraft Europas. Wie Innovation und Vertrauen gelingen kann und was wir als Menschen und Organisationen in der Hand haben, wird im Folgenden anhand eines konkreten Beispiels erläutert:

Zoey ist dreißig Jahre alt und studierte Informatikerin. Sie hat in den letzten Jahren zunächst als Java-Entwicklerin und dann im Bereich Datenanalyse. Mittlerweile hat sie sich zur Expertin für maschinelles Lernen entwickelt und ist im Unternehmen für ihre Fachexpertise hoch angesehen. Außerdem hält sie regelmäßig auf Veranstaltungen Vorträge zum Thema Machine Learning. Letzte Woche wurde Zoey auf einem sozialen Netzwerk über einen Algorithmus eine spannende Stelle in einem großen internationalen IT-Unternehmen vorgeschlagen. Die Stellenausschreibung klingt für Zoey hochinteressant und ihr Profil passt nahezu perfekt auf die Position. Zoey fasst den Entschluss, sich für diese Stelle zu bewerben: Sie aktualisiert ihren Lebenslauf, füllt das Online-Formular aus und schickt die Bewerbung ab. Ein paar Tage später bekommt Zoey eine offensichtlich automatisch erstellte Absage vom Unternehmen.

Was ist Bias und warum gibt es „unfaire“ KI Entscheidungen?
Bias ist eine Verzerrung des Ergebnisses, das zu einem systematischem Fehler in einem Entscheidungssystem führen kann, privilegierte Gruppen sind im Vorteil, unprivilegierte Gruppen im Nachteil. Wie kann das entstehen? KI lernt basierend auf historischen Daten (historischer Bias), z.B. welche Kandidat_innen wurden bisher eingestellt, welche Menschen waren bisher die Zielgruppe. Daten sind häufig Beobachtungen von menschlichem Verhalten, das fehlerhaft sein kann (Interaktionsbias). Zudem werden Daten ausgewählt, die verfügbar waren und relevant schienen. Diese Auswahl ist potentiell nicht repräsentativ für alle Nutzer_innen des Systems (Repräsentations Bias) und führt zu eingeschränkter Aussagefähigkeit. Über die genannten Bias Typen hinaus gibt es noch eine Menge weiterer, die menschlich oder technisch verursacht werden. Auf unser Beispiel bezogen, ist bekannt, dass in Deutschland in der Vergangenheit zu einem großen Teil Männer aus westeuropäischen Ländern IT Berufe erlernt und ausgeführt haben. Wird ein KI System auf diesen Daten trainiert, könnte es eine Verzerrung bzgl. Geschlecht oder Herkunft des Namens zur Folge haben.
Übrigens, auch wir Menschen haben Bias, dazu gehören Vorurteile und sog. „Schubladendenken“ (Vereinfachungs Bias), es hilft uns komplexe Sachverhalte zu vereinfachen. Dennoch sind manche Verzerrungen bei uns Menschen, wie auch bei KI Systemen, ungewünscht und kann anderen schaden. Achtung: Bias-freie Menschen und bias-freie KI gibt es nicht! Wir müssen uns bemühen, Bias bewusst zu machen und ungewünschtes Verhalten zu verhindern.

Zwei Jahre später…
Mittlerweile hat Zoey einen erfüllenden Job bei einem anderen großen IT-Unternehmen gefunden. Sie entwirft und implementiert mit ihrem Team komplexe KI-Systeme für verschiedenste Kunden. Letzte Woche kam ein neuer Kunde auf Zoey und ihr Team zu: Sie sollen ein KI-System bauen, das im Recruitment & HR Empfehlungen für passende Kandidat_innen auf Basis verschiedener Faktoren und dem Lebenslauf vorhersagt. Zoey bespricht den Fall mit ihrem Kollegen John. „Das ist ja interessant… ich habe die Vermutung, dass ein solches System mich schonmal bei einem Bewerbungsprozess benachteiligt hat“, sagt Zoey leicht grinsend. „Wir sollten sichergehen, dass wir unser Produktions-Machine-Learning-Modell entsprechend monitoren. Weißt du, wie man so etwas macht?“, reagiert John. Zoey nickt: „Dazu benutzt man sogenannte Bias Detection und Bias Mitigation Ansätze.“

Wie kann Bias erkannt und mitigiert werden?
Forschung und Entwicklung haben sich diesem Problem bereits angenommen. Das Themenfeld entwickelt sich rasant in den letzten Jahren. Allein in den letzten 5 Jahren gab es einen enormen Anstieg an wissenschaftlichen Veröffentlichungen zum Thema Fairness. [4] Um Bias zu erkennen, unterscheiden wir drei fundamentale Fragestellungen, die Sie untersuchen sollten:

• Wie ist das Ergebnis? Wer bekommt was?
• Wie kommt es zu dem Ergebnis? Wer entscheidet, wer was bekommt?
• Und: Wer entscheidet, wer entscheidet?

Je nach Antworten auf diese Fragestellungen, kann man gezielt durch Trainings, multidisziplinäre und divers besetzte Teams, als auch organisatorische Strukturen gegenwirken. Zudem kann man sich der Erkennung von Bias auch technisch nähern, indem man einen genaueren Blick auf die Daten (enthalten diese bereits Verzerrungen?), die Auswahl der verwendeten Daten (ist es repräsentativ für den gesamten Datenpool?) und die Algorithmen (ist es der richtige für das zu lösende Problem?) wirft. Werden Verzerrungen detektiert, so gibt es eine Vielzahl an Möglichkeiten. Beispielsweise können Gewichtungen in Trainingsdaten ausbalanciert werden, geschützte Attribute wie Geschlecht/ Hekunft/ etc. entnommen werden, Fairness Metriken definiert und berechnet werden oder diskriminierungssensible Regulierungen hinzugefügt werden. Das technische Vorgehen ist komplex, meist werden mehrere verschiedene Methoden gewählt und angewendet.

„Super, unser erstes Modell funktioniert schon ganz gut, wir haben eine Genauigkeit von 85 %.“, teilt John stolz mit. „Das Modell basiert auf einem tiefen neuronalen Netzwerk, das hat mit den riesigen Mengen von Daten vom Kunden die besten Ergebnisse geliefert.“ Zoey runzelt die Stirn. „Wir hatten doch zuerst einen Entscheidungsbaum gewählt, damit die Resultate nachvollziehbar sind und die Recruiter direkt sehen können, warum ein_e Kandidat_in positiv oder negativ bewertet wurde?“ „Ja, aber das neue Modell funktioniert einfach viel besser!“, erwidert John. Zoey überlegt. „Dann müssen wir wohl einen komplexeren Ansatz fahren, um die Erklärbarkeit des Modells zu gewährleisten.“

Wie können Blackbox Modelle erklärbar gemacht werden?
Das Ergebnis eines Machine-Learning-Modells gilt gemeinhin als erklärbar, wenn interpretiert werden kann, warum das Modell eine bestimmte Entscheidung getroffen hat und welche Faktoren dazu beigetragen haben. Je komplexer ML-Algorithmen werden, desto schwieriger ist es, die Ergebnisse nachvollziehbar und interpretierbar zu machen. Bestimmte Algorithmen sind von Natur aus erklärbar – bspw. Entscheidungsbäume. Andere Algorithmen, wie die meisten Formen tiefer neuronaler Netzwerke, müssen über andere Ansätze interpretierbar gemacht werden. Ein Beispiel ist die Pertubationsanalyse: Hier werden tausende, minimal veränderte Eingabeparameter verändert, um zu untersuchen, anhand welcher Parameter sich das Ergebnis ändert. So kann herausgefunden werden, welche Faktoren für eine Entscheidung ausschlaggebend waren. Die Darstellung der Nachvollziehbarkeit für die Endanwendenden ist wiederum ein weiterer Aspekt, der das Verständnis von KI-Resultaten stark beeinflusst.

„Wie cool ist das denn, wir haben ein erklärbares, gut funktionierendes Modell und unsere ersten Tests zeigen, dass unsere Bias Detection und Mitigation funktioniert. Jetzt kann uns niemand mehr vorwerfen, wir haben nicht an die Vertrauenswürdigkeit der KI gedacht.“, strahlt John. Zoey runzelt die Stirn: „Vertrauenswürdige KI besteht nicht nur aus Fairness und Erklärbarkeit. Was machst du, wenn die Daten sich verändern, mit denen du das Modell kontinuierlich weiter trainierst? Und der Kunde hat mich vorhin noch gefragt, wie wir denn für so ein Modell die Auditierbarkeit garantieren.“ John schlägt die Hände über dem Kopf zusammen. „Da liegt also noch viel Arbeit vor uns!“

Adaptierbarkeit und Auditierbarkeit von KI-Modellen. Erklärbarkeit und Fairness sind zwei Haupteigenschaften von vertrauenwürdiger KI. Doch es gibt auch weitere Faktoren, die dazu beitragen: Ein viel diskutiertes Thema ist der sogenannte „Model Shift“ oder auch „Data Shift“. Über die Zeit kann die Güte eines Modelles abnehmen, wenn sich die zum Scoring benutzten Daten sukzessive verändern. Ein weitere Faktor ist die Auditierbarkeit von ML-Modellen: Für bestimmte Industrien und Anwendungsfälle ist es (teilweise rechtlich) erforderlich, dass vollkommen klar ist, wann das Modell mit welchen Daten trainiert wurde, welche Qualitätskriterien zu diesem Zeitpunkt bekannt waren und wie das Modell über die Zeit weiterentwickelt wurde. Hierfür gibt es verschiedene Lösungsansätze, wie die Implementierung von audit-sicherer Operationalisierung von ML-Modellen.

Zoey nickt zufrieden. „So, das fühlt sich doch nun schon sehr gut an. Für den Einsatz in der Produktion sollte das Modell nun gut geeignet sein.“ Plötzlich kommt John mit aufgeregtem Blick auf sie zu: „Es klappt! Ich hab auf unserer Cloud-Instanz ein eigenes großes Sprachmodell zur Auswertung der Lebensläufe trainiert und die Ergebnisse verschlagen einem den Atem! Das hat unsere übergreifende Genauigkeit nochmal um zwei Prozent verbessert!“ Zoey ist erschrocken: „Hast du die Kosten im Blick gehabt? Und verbraucht das Training von solch einem Modell nicht enorme Energiemengen?“ John schaut verdutzt. „Ich dachte, die Cloud-Kosten sind irgendwo gedeckelt?“ Sie schauen gemeinsam schnell in die Kostenübersicht. „24.000€ für diesen Trainingslauf?! Verdammt, unser Projektbudget sieht damit nicht mehr so gut aus…“

Das Training eines der größten Sprachmodelle der letzten Jahre (GPT-3) hat ca. 12 Millionen Dollar gekostet. [5] Aber auch kleinere Modelle können schnell einen enormen Energieverbrauch und Kosten verursachen; hinsichtlich des Aspekts Nachhaltigkeit ist dies ein großes Problem. Daher sollte bei der Auswahl und beim Training von ML-Modellen immer abgewogen werden, ob der Gewinn an Ergebnisqualität die Kosten und den Stromverbrauch tatsächlich aufwiegen. Häufig reichen auch kleinere oder einfachere Modelle aus, um ein gutes Ergebnis zu erzielen. Außerdem wird aktuell stark an Ansätzen geforscht, wie auch das Training auf kleinen, aber qualitativ hochwertigen Datensätzen gute Resultate bringen kann. [6]
KI hat zudem Potential einen Beitrag zu Klima- und Umweltschutz zu leisten. Über Algorithmen kann Energieverbrauch, Verkehr und Infrastruktur intelligenter gesteuert und Kreislaufwirtschaft umwelt- und ressourcenschonender werden. [7]

„Ähm, Zoey… mir ist gerade etwas aufgefallen. Vielleicht müssen wir das große Sprachmodell doch weglassen oder neu trainieren.“ Zoey schaut aufmerksam zu John, der gebannt auf seinen Laptop-Bildschirm starrt. „Ich habe das Sprachmodell unter anderem auf unseren Kundendaten trainiert. Wenn ich nun eine bestimmte Kombination von Wörtern eingebe, kann ich damit die Echtdaten aus dem Modell extrahieren.“ Zoey erwidert verwirrt: „Das heißt, wir können echte Adressen und Inhalte von Lebensläufen aus dem Modell ziehen?“ John fängt langsam an zu nicken. „Jep – es scheint so.“

Große Sprach-Modelle nutzen mittlerweile riesige Mengen von Daten, die häufig auch personenbezogene Daten enthalten können. Mit Angriffen auf ML-Modelle (auch „Adversarial Attacks“) können diese personenbezogenen Daten teilweise aus den Modellen extrahiert werden, ohne dass die Personen sich dessen bewusst sind. [8] Ein ähnliches Problem im Kontext des autonomen Fahrens ist die Erkennung von Schildern. In verschiedenen Experimenten konnte gezeigt werden, dass bspw. das Anbringen von Stickern auf Stop-Schildern die Erkennungssoftware in den Fahrzeugen „austricksen“ konnte. [9]

Kontext zur Realität: Lücke zwischen Intention und Aktion.
Selbst wenn das beschriebene Beispiel realistisch umsetzbar ist, ist es dennoch die Seltenheit. Eine Studie von IBM’s Institute for Business Value [1], die in Zusammenarbeit mit Oxford Economics durchgeführt wurde, zeigt und quantifiziert den vom Weltwirtschaftsforum (WEF) genannten „Intention-Action Gap“. Dieser beschreibt Diskrepanzen zwischen Absicht und tatsächlich in die Tat umgesetzter Vorhaben. Während ca. 50-60 % vertrauenswürdige KI auf ihrer Agenda haben, wird es nur in ca. 10-20 % der befragten Unternehmen umgesetzt.

Handlungsspielraum für Organisationen, vertrauenswürdige KI umzusetzen.
Vertrauenswürdige KI ist eine SOZIO-technologische Herausforderung, die durch Technologie alleine nicht lösbar ist. In den meisten Interaktionen mit KI sind Menschen involviert,

• die KI Systeme designen,
• die definieren was fair ist und entsprechende Grenzwerte festlegen,
• die mit Ergebnissen von KI weiterarbeiten,
• die (weitreichende) Entscheidungen treffen,
• die versuchen Fehler zu finden,
• die entscheiden wer entscheidet, und Verantwortung übernehmen.

Technologie ist ein Hilfsmittel. Damit vertrauenswürdige KI gelingt, braucht es einen ganzheitlichen Ansatz. Jede Entscheidung bei der Entstehung und im Einsatz von KI-Systemen, soll geleitet werden von Prinzipien, wie beispielsweise ‚KI soll den Menschen ergänzen – und nicht ersetzen‘ oder ‚Daten und Einsichten gehören dem Urheber‘. In der Umsetzung unterstützen Methodiken wie Design Thinking für KI-durch-Design [10], Trainings für Mitarbeitende einschl. Führungskräfte und möglichst diverse Profile in den Teams. Organisationsstrukturen unterstützen diese Veränderung und definieren Verantwortlichkeiten. Einige Organisationen setzen einen Technologie-Ethikrat auf, welcher sich als zentralisierter Steuerungs-, Überprüfungs- und Entscheidungsprozess für die Ethikrichtlinien, Praktiken, Kommunikation, Forschung, Produkte und Dienstleistungen etablieren kann. Dies braucht zunächst Investitionen von Organisationen.

Regulierung von KI-Systemen durch DSGVO und EU AI ACT.
Die Investitionsbereitschaft wird beschleunigt durch aktuelle Gesetzgebung und diskutierte Gesetzesvorschläge. Die EU hat bereits im Rahmen der Datenschutzgrundverordnung einen Meilenstein gesetzt für den Schutz von Daten und deren Verbreitung. Mit dem EU AI ACT wurde eine weitreichendere Regulierung vorgeschlagen, die Anforderungen stellt bzgl. Risikomanagement, Transparenz und Interpretierbarkeit von Ergebnissen, menschliche Aufsicht und technische Qualität. Einige Organisationen mögen davon ausgehen, dass sie keine KI Modelle der hohen Risiko-Einstufung im Einsatz haben. In der Regulierung wird allerdings eine sehr breite Definition von KI vorgeschlagen, die Maschinelles Lernen, regelbasierte Algorithmen und Statistik inkludiert. Daher ist davon auszugehen, dass viele Organisationen von der Regulierung betroffen sind.

Werden diese Anforderungen bereits früh im Design und der Entstehung von KI Systemen beachtet, als auch Verantwortlichkeiten klar definiert und wahrgenommen, so können Zeit und Kosten gespart, als auch die Erfolgsquote von KI Systemen wesentlich gesteigert werden.

Das Telefon auf Zoeys Schreibtisch klingelt. „Hallo Zoey, wir sind sehr zufrieden mit euren Ergebnissen, das System funktioniert sehr gut.“ Der Kunde am Telefon räuspert sich. „Vor dem Go-Live in zwei Wochen hätten wir noch ein Thema, was wir adressieren sollten. Der EU AI Act wurde ja mittlerweile veröffentlicht und unsere Berater haben uns gerade mitgeteilt, dass das KI-System für Recruitment unter die Kategorie ‚High Risk‘ fällt. Meinst du, die notwendigen Punkte können wir noch vor unserem Go-Live implementieren?“ Zoey antwortet mit selbstsicherer Stimme: „Das haben wir bereits bedacht. Dem Go-Live steht nichts im Wege.“

So kann Technologie Vertrauen aufbauen und wertebasiert Innovation ermöglichen.
Die zuvor referenzierte Studie [1] führt darüber hinaus positive betriebswirtschaftliche Auswirkungen auf, beispielsweise dass Kund_innen bereit sind mehr dafür zu bezahlen, wenn Unternehmen verantwortungsvoll, nachhaltig und vertrauenswürdig mit Daten und Informationen umgehen.
Wie diskutieren und addressieren Sie dieses Thema in Ihrer Organisation, als Mitarbeiter_in, als Führungskraft, als technische_r Experte oder Expertin, als Nutzer_in von KI Anwendungen? Starten Sie die Diskussion, machen Sie den ersten Schritt, um den „Intention-Action-Gap“ zu schließen. Die Studie enthält einen Action Guide, der Sie dabei unterstützen kann.

[1] https://www.ibm.com/thought-leadership/institute-business-value/report/ai-ethics-in-action
[2] https://www.innocens.be/the-innocens-project
[3] https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52021PC0206
[4] https://www.researchgate.net/publication/362172268_Fairness_Testing_A_
Comprehensive_Survey_and_Analysis_of_Trends
[5] https://towardsdatascience.com/the-future-of-ai-is-decentralized-848d4931a29a
[6] https://www.techtarget.com/searchenterpriseai/feature/Using-small-data-sets-for-
machine-learning-models-sees-growth
[7] https://www.dfki.de/web/forschung/kompetenzzentren/ki-fuer-umwelt-und-nachhaltigkeit
[8] https://arxiv.org/abs/2012.07805
[9] https://arxiv.org/abs/1707.08945
[10] https://www.ibm.com/design/ai/