EU AI Act:

Was Banken und Versicherer über KI-Compliance wissen müssen

Künstliche Intelligenz ist bereits fester Bestandteil zentraler Prozesse bei Banken und Versicherern – von Betrugserkennung und Kreditwürdigkeitsprüfung bis hin zu Kundenservice und Schadenbearbeitung. Was sich in diesem Sommer geändert hat, ist nicht die Technologie, sondern die sie umgebende Aufsichtsstruktur.

Für Banken und Versicherer lautet die Antwort auf die Frage, wer die Einhaltung des EU AI Act überwacht: die BaFin. Diese Rolle wird durch das am 29. Juli in Deutschland in Kraft getretene Gesetz formalisiert. Das Gesetz bestimmt die Bundesnetzagentur zur zentralen Marktüberwachungsbehörde für den EU AI Act. Finanzdienstleistungen sind jedoch von dieser Zuständigkeit ausgenommen. Ein KI-System, das mit einer regulierten Finanzdienstleistung verbunden ist und von einem bereits durch die BaFin beaufsichtigten Institut betrieben wird, fällt somit weiterhin in die Zuständigkeit der BaFin. Institute werden sich hinsichtlich des AI Act daher gegenüber derselben Aufsichtsbehörde verantworten müssen wie bei ihren übrigen regulatorischen Verpflichtungen.

Der AI Act definiert Risikokategorien und verpflichtet Unternehmen, ihre Systeme selbst einzustufen. Maßgeblich ist dabei, für welche Entscheidungen das jeweilige System eingesetzt wird und – bei bestimmten Kategorien – welche Daten verarbeitet beziehungsweise welche Personen davon betroffen sind. Aus dieser Klassifizierung ergeben sich die jeweiligen Pflichten. Ein Verzeichnis aller eingesetzten KI-Systeme und ihrer vorgesehenen Verwendungszwecke sollte daher am Anfang der Compliance-Umsetzung stehen.

Im Finanzsektor gelten besonders strenge Anforderungen unter anderem für Systeme zur Bewertung der Kreditwürdigkeit natürlicher Personen, zur Risiko- und Preisbewertung bei Lebens- und Krankenversicherungen sowie für bestimmte Entscheidungen im Recruiting. Betrugserkennung ist dagegen ausdrücklich von dieser Hochrisiko-Kategorie ausgenommen. Für biometrische Systeme gelten gesonderte Regeln. Entscheidend für die Einordnung ist unter anderem, ob das System eine von einer Person angegebene Identität bestätigt oder die Identität einer Person eigenständig ermittelt.

Der Abgleich mit den bereits hinterlegten Daten eines Kunden, wie er bei vielen Onboarding-Prozessen oder bei der Sprachauthentifizierung erfolgt, fällt nicht in die Hochrisiko-Kategorie, da die Folgen einer Fehlentscheidung auf die Person begrenzt bleiben, die die Prüfung veranlasst hat. Anders verhält es sich bei einer Suche, etwa wenn die Stimme eines Anrufers mit einer Datenbank bekannter Betrüger abgeglichen wird. Hier greifen die Anforderungen für Hochrisiko-KI. Die Emotionserkennung bei Beschäftigten ist nicht lediglich eingeschränkt, sondern verboten. Institute, die beispielsweise Callcenter-Aufzeichnungen mittels Sentiment-Analyse auswerten, müssen deshalb prüfen, ob ihre Anwendung unter dieses Verbot fällt.

Die größten Herausforderungen für regulierte Finanzinstitute beim Einsatz von KI

Ein vollständiges KI-Verzeichnis zu erstellen, ist schwieriger, als es zunächst erscheint. Ein erheblicher Teil der heute eingesetzten Künstliche Intelligenz wurde ursprünglich gar nicht als KI-Lösung beschafft, sondern kam über Funktions- oder Softwareupdates in bereits bestehende Systeme. In CRM-Systeme, HR-Plattformen oder Analytics-Lösungen integrierte Künstliche Intelligenz ist für Compliance-Verantwortliche nicht immer unmittelbar sichtbar, fällt aber dennoch unter die relevanten Anforderungen. Ein Inventar, das sich ausschließlich auf intern entwickelte Modelle beschränkt, erfasst daher nur einen Teil der tatsächlich eingesetzten KI.

Die Identifizierung eingebetteter KI ist jedoch nur der erste Schritt. Anschließend muss das Institut das System klassifizieren. Die Einschätzung des Anbieters ist dabei nicht zwangsläufig ausschlaggebend, wenn das Institut selbst bestimmt, für welchen Zweck die Funktion eingesetzt wird. Der Umfang der regulatorischen Pflichten hängt wesentlich davon ab, ob das Institut als Betreiber oder Anbieter des Systems gilt. Für Betreiber gelten deutlich weniger umfangreiche Pflichten – und in diese Kategorie fallen die meisten Banken und Versicherer.

Diese Einstufung kann sich jedoch ändern. Bringt ein Institut ein eingekauftes System unter dem eigenen Namen oder der eigenen Marke auf den Markt, ändert es dessen Zweckbestimmung oder trainiert es unter bestimmten Voraussetzungen mit eigenen Daten weiter, kann es stattdessen als Anbieter eingestuft werden.

Explainability: Nachvollziehbarkeit statt mathematischer Detailerklärung

Explainability zählt derzeit zu den größten Herausforderungen für regulierte Finanzinstitute beim Einsatz von Künstlicher Intelligenz. Dabei wird das Thema häufig technischer diskutiert, als es die regulatorischen Anforderungen tatsächlich verlangen. Aufsichtsbehörden werden von einer Bank nicht erwarten, die interne Mathematik eines komplexen Modells im Detail zu erklären – eine solche Darstellung wäre in der Praxis kaum sinnvoll möglich.

Entscheidend ist vielmehr die Nachvollziehbarkeit einer konkreten Entscheidung: Welche Informationen sind in die Entscheidung eingeflossen? Welche Version des Modells hat das Ergebnis erzeugt? Wer hat das Ergebnis überprüft? Und war diese Person befugt, die Entscheidung des Systems zu überstimmen?

Damit wird die Herausforderung des KI-Verzeichnisses auf die Ebene einzelner Entscheidungen übertragen. Genau hier stoßen manuelle Verfahren an ihre Grenzen. Ein bestimmtes Modell zu einem bestimmten Zeitpunkt nachzuverfolgen, ist vergleichsweise einfach. Die Nachvollziehbarkeit über Retraining-Zyklen, Versionsupdates und nicht angekündigte Änderungen eines Anbieters hinweg dauerhaft sicherzustellen, ist wesentlich anspruchsvoller.

Welches LLM ist regulatorisch vertretbar?

Eine weitere regulatorische Herausforderung für Banken und Versicherer ist die Frage, welche Large Language Models (LLMs) eingesetzt werden können, ohne unnötige Compliance-Risiken zu schaffen. Eine Liste behördlich zugelassener LLMs existiert nicht und dürfte auch künftig kaum veröffentlicht werden. Dasselbe Modell kann bei zwei Instituten unterschiedlich implementiert werden und dadurch zu völlig unterschiedlichen aufsichtsrechtlichen Bewertungen führen.

Entscheidend ist unter anderem, wo die Daten physisch gespeichert und verarbeitet werden, ob sie mit anderen Kunden desselben Dienstes geteilt werden, ob sie für das weitere Training des Modells verwendet werden und ob eine bestimmte Modellversion festgeschrieben werden kann, damit ein automatisches Update bereits abgeschlossene Tests nicht entwertet. Ebenso relevant ist die Frage, ob Protokolldaten auch ein Jahr später noch abrufbar sind.

Die Einführung eines KI-Systems ist letztlich keine reine Beschaffungsentscheidung, sondern eine Governance-Entscheidung. KI-Governance ist keine zusätzliche Disziplin neben dem bestehenden Risikomanagement und der Compliance eines Instituts, sondern deren konsequente Erweiterung.