Die Expertengruppe für KI der EU (High Level Expert Group on AI) hat mit einer Reihe von Leitlinien das Ziel verfolgt, einen Rahmen für die Verwirklichung einer vertrauenswürdigen KI zu setzen. Es soll sich dabei um eine Hilfestellung für die mögliche Umsetzung von Prinzipien in soziotechnischen Systemen handeln. Der Rahmenplan geht dabei auf Bedenken in der Öffentlichkeit ein, etwa dass KI-Systeme als Sündenböcke genutzt werden, um der Verantwortung für Diskriminierung, Unfälle oder andere Schäden zu entgehen.[1]
Die ethischen Grundsätze im KI-Kontext lauten wie folgt:

• Achtung der menschlichen Autonomie: KI-Systeme sollen Menschen nicht auf ungerechtfertigte Weise diskriminieren, täuschen oder herabsetzen. Sie sollen zur Entwicklung sinnerfüllter Arbeit dienen.
• Schadensverhütung: KI-Systeme sollen keinen Schaden bewirken. Dazu zählt der Schutz der geistigen und körperlichen Unversehrtheit. Technische Robustheit soll dabei das Missbrauchsrisiko reduzieren.
• Fairness: KI-Systeme sollen Chancengleichheit beim Zugang zu Gütern und Bildung begünstigen. Insbesondere sollte ihr Einsatz nicht zur Folge haben, dass Nutzer in ihrer Wahlfreiheit beschränkt werden.
• Erklärbarkeit: Entscheidungen und Prozesse müssen transparent und verständlich bleiben. Dauerhaftes Vertrauen in die KI kann nur durch eine offene Kommunikation ihrer Fähigkeiten und ihrer Einsatzzwecke hervorgehen.

Gerade dieser vierte Punkt der Transparenz und Erklärbarkeit hat dabei meine eigene Erfahrung und Arbeit in einer Expertengruppe auf EU-Ebene für digitale Ethik in Versicherungen geprägt. Folgende Leitfragen können daraus Praktikern in direkter Ansprache mitgegeben werden:

Haben Sie als Praktiker in einer wirtschaftlichen Organisation Maßnahmen festgelegt, die die Rückverfolgbarkeit von KI-Aktivitäten sicherstellen können? Dies könnte die Dokumentation folgender Methoden beinhalten, strukturiert nach den vier Facetten der Nachvollziehbarkeit, Erklärbarkeit selbst, Kommunikation sowie Rechenschaftspflicht:

Nachvollziehbarkeit

• Methoden, die für den Entwurf und die Entwicklung des algorithmischen Systems verwendet werden:
• Regelbasierte KI-Systeme: die Methode der Programmierung oder wie das Modell aufgebaut wurde
• Lernbasierte KI-Systeme: die Methode des Trainings des Algorithmus, einschließlich der Frage, welche Eingangsdaten gesammelt und ausgewählt wurden und wie dies geschehen ist.
• Methoden zum Testen und Validieren des algorithmischen Systems:
• Regelbasierte KI-Systeme: die zum Testen und Validieren verwendeten Szenarien oder Fälle
• Lernbasiertes Modell: Informationen über die zum Testen und Validieren verwendeten Daten
• Ergebnisse des algorithmischen Systems:
• Die Ergebnisse des Algorithmus oder die vom Algorithmus getroffenen Entscheidungen sowie mögliche andere Entscheidungen, die sich aus verschiedenen Fällen ergeben würden (z. B. für andere Untergruppen von Benutzern).

Erklärbarkeit

Haben Sie bewertet:

• inwieweit die Entscheidungen und damit das Ergebnis des KI-Systems nachvollziehbar sind?
• inwieweit die Entscheidung des Systems die Entscheidungsprozesse der Organisation beeinflusst?
• warum dieses spezielle System in diesem speziellen Bereich eingesetzt wurde?
• wie das Geschäftsmodell des Systems aussieht (z.B. wie schafft es Wert für die Organisation)?
• Haben Sie eine Erklärung dafür sichergestellt, warum das System eine bestimmte Wahl getroffen hat, die zu einem bestimmten Ergebnis geführt hat, das alle Benutzer verstehen können?
• Haben Sie das KI-System von Anfang an mit Blick auf die Interpretierbarkeit konzipiert?
• Haben Sie recherchiert und versucht, ein möglichst einfaches und interpretierbares Modell für die jeweilige Anwendung zu verwenden?
• Haben Sie bewertet, ob Sie Ihre Trainings- und Testdaten analysieren können? Können Sie dies im Laufe der Zeit ändern und aktualisieren?
• Haben Sie bewertet, ob Sie die Interpretierbarkeit nach der Schulung und Entwicklung des Modells überprüfen können oder ob Sie Zugang zum internen Workflow des Modells haben?

Kommunikation

• Haben Sie den (End-)Nutzern durch einen Disclaimer oder anderweitig mitgeteilt, dass sie mit einem KI-System und nicht mit einem anderen Menschen interagieren? Haben Sie Ihr KI-System als solches gekennzeichnet?
• Haben Sie Mechanismen eingerichtet, um (End-)Nutzer über die Gründe und Kriterien hinter den Ergebnissen des KI-Systems zu informieren?
• Haben Sie dies dem Zielpublikum klar und verständlich kommuniziert?
• Haben Sie Prozesse etabliert, die das Feedback der Anwender berücksichtigen und das System damit anpassen?
• Haben Sie über potenzielle oder wahrgenommene Risiken, wie z.B. Verzerrungen, informiert?
• Haben Sie – je nach Anwendungsfall respektive use case – die Kommunikation und Transparenz gegenüber anderen Zielgruppen, Dritten oder der Öffentlichkeit berücksichtigt?
• Haben Sie den Zweck des KI-Systems geklärt und wer oder was von dem Produkt/der Dienstleistung profitieren kann?
• Haben Sie Nutzungsszenarien für das Produkt spezifiziert und diese klar kommuniziert, um sicherzustellen, dass es verständlich und angemessen für die vorgesehene Zielgruppe ist?
• Haben Sie, je nach Anwendungsfall, über die menschliche Psychologie und mögliche Einschränkungen wie Verwechslungsgefahr, Bestätigungsverzerrung oder kognitive Ermüdung nachgedacht?
• Haben Sie Eigenschaften, Einschränkungen und mögliche Unzulänglichkeiten des KI-Systems klar kommuniziert?
• Im Falle der Entwicklung des Systems: an denjenigen, der es in einem Produkt oder einer Dienstleistung einsetzt?
• Im Falle des Einsatzes des Systems: an den (End-)Nutzer oder Verbraucher?

Rechenschaftspflicht

Überprüfbarkeit:

• Haben Sie Mechanismen eingeführt, die die Überprüfbarkeit des KI-Systems erleichtern, wie z.B. die Sicherstellung der Rückverfolgbarkeit und die Protokollierung der Prozesse und Ergebnisse des KI-Systems?
• Haben Sie bei grundrechtsrelevanten Anwendungen (einschließlich sicherheitskritischer Fragen) berücksichtigt, dass das KI-System unabhängig respektive von einer dritten Seite auditiert werden kann?

Dokumentation von Kompromissen:

• Haben Sie einen Mechanismus eingerichtet, um relevante Interessen und Werte, die vom KI-System betroffen sind, und mögliche Kompromisse zwischen ihnen zu identifizieren?
• Wie entscheiden Sie über solche Trade-offs? Haben Sie erreicht, dass die Entscheidung über den Kompromiss dokumentiert wurde?

Fähigkeit zur Wiedergutmachung:

• Haben Sie ein angemessenes System von Mechanismen geschaffen, das im Falle des Auftretens von Schäden oder nachteiligen Auswirkungen Abhilfe schafft?
• Haben Sie Mechanismen eingesetzt, um sowohl (End-)Nutzer/Dritte über die Möglichkeiten der Rechtsdurchsetzung zu informieren?

Minimierung und Berichterstattung über negative Auswirkungen:

• Haben Sie eine Risiko- oder Folgenabschätzung für das KI-System durchgeführt, die verschiedene (in)direkt betroffene Stakeholder berücksichtigt?
• Haben Sie Schulungen und Trainings angeboten, um die Entwicklung von Rechenschaftspflichtpraktiken zu unterstützen?
• Welche Mitarbeiter oder Zweige des Teams sind involviert? Gehen die Trainings über die Entwicklungsphase hinaus?
• Vermitteln diese Schulungen auch den möglichen rechtlichen Rahmen, der für das KI-System gilt?
• Haben Sie die Einrichtung eines „ethischen KI-Prüfungsausschusses“ oder eines ähnlichen Gremiums in Betracht gezogen, um die allgemeine Rechenschaftspflicht und die ethischen Praktiken, einschließlich potenziell unklarer Grauzonen, zu erörtern?
• Haben Sie neben internen Initiativen auch eine Art externe Anleitung vorgesehen oder Auditierungsprozesse zur Überwachung von Ethik und Rechenschaftspflicht eingeführt?
• Haben Sie Prozesse für Dritte (z.B. Lieferanten, Verbraucher, Händler/Verkäufer) oder Arbeitnehmer eingerichtet, um potenzielle Schwachstellen, Risiken oder Verzerrungen im KI-System zu melden?

Fazit

Die voranstehende Liste mit Aspekten und Leitfragen hat zum einen den Zweck, den für (zumindest) in Versicherungen wichtigen vierten Punkt der Erklärbarkeit im Rahmen des KI-Regulierungsvorschlags der High Level Expert Group on AI als einen der zentralen meiner Breiträge  vorzustellen. Zum anderen sollte der noch abstrakte und vielleicht mehrdeutige Ansatz durch die EU-Richtlinien mit für die Praxis tauglicheren Leitfragen quasi als Checkliste ausbuchstabiert werden.

Quellen und Referenzen:

[1] Hoffmann, C.H. & Hahn, B. AI & Soc (2019). https://doi.org/10.1007/s00146-019-00920-z.