Künstliche Intelligenz ist die Zukunftstechnologie des 21. Jahrhunderts – so vielversprechend die Technologie ist, so viele Risiken bringt sie auch mit sich. Ein zentrales Risiko sind dabei die sogenannten KI-Unfälle. Die gute Nachricht: Viele Unternehmen und Initiativen betrachten die Risikominderung bereits als zentralen Auftrag. Um Risiken zu mindern, müssen diese jedoch zunächst verstanden werden. 

Unter den Begriff “KI-Unfall” fällt generell jegliches unbeabsichtigte Verhalten einer Künstlichen Intelligenz. Ein solches Verhalten ist nicht nur für Anwender und Unternehmen wenig wünschenswert, da es zu falschen, ungenauen oder gar gefährlichen Ergebnissen oder Geldverlust führen kann. Im schlimmsten Fall können auch Risiko- und Compliance Probleme die Folge sein.

Entstehung und Folgen von KI-Unfällen

Ein konkretes Beispiel, wie ein KI-Unfall in der Praxis zustande kommen kann, ist das Folgende: Eine Bank in Mitteleuropa benötigte ein Risikomodell, um Stresstests zu durchlaufen. Das von ihr verwendete Modell wurde vor zwei Jahrzehnten als regelbasiertes System eingeführt und vor zehn Jahren um weitere zu berücksichtigende Variablen und Datenquellen ergänzt. Es wurde von den Aufsichtsbehörden für den Zweck, für den es entwickelt wurde, als konform eingestuft. Im weiteren Verlauf der Entwicklung dieser Stressttestverfahren entstanden weitere Daten, die eine neue aggregierte Darstellung der Bilanz der Bank ermöglichten. Dies wiederum wurde zur Quelle für fortschrittlichere Modelle zur Überwachung der Liquiditätslimits. Die grundlegenden Anforderungen an die Daten für einen regelbasierten Ansatz und für fortgeschrittene Modelle sind jedoch nicht dieselben: Da die Grundlagen nicht geeignet waren, begann das fortgeschrittene Modell plötzlich und unerwartet schlechte Leistungen zu erbringen.

Ein weiteres Beispiel: Ein Pharmahersteller bemüht sich um ein Forecasting-Modell für Sales: Während es die Umsätze für einige Regionen genau vorhersagt, liegt es für andere immer – aber unvorhersehbar – daneben. Das beeinträchtigt die Zielsetzung des Vertriebsteams, vermindert die Leistung und führt manchmal sogar dazu, dass Mitarbeiter das Unternehmen verlassen. Das Modell wurde von einem einzigen Experten erstellt und auf dessen Laptop gespeichert und ausgeführt. Als dieser Experte das Unternehmen verlässt, wird das Modell an andere weitergegeben – diese haben jedoch zu viel Respekt, ein bisher immer funktionierendes Modell infrage zu stellen. Trotz der Tatsache, dass es eindeutige Verzerrungen aufweist, wird es heute noch verwendet. Dies führt zu fragwürdigen Entscheidungen über die Festlegung von Verkaufszielen und die Überwachung der Leistung. Das Problem: Wichtige Entscheidungen werden hier an ein automatisiertes System delegiert, das im Extremfall zu unvorhersehbaren Ergebnissen führt – ohne dass man sich bewusst mit den Kompromissen auseinandersetzt und die Folgen ständig überwacht. Oder kontrovers ausgedrückt: Dem Modell ist es vollkommen egal wenn Quatsch rauskommt, dem Kunden / Business aber absolut nicht.

Black Box Modelle als Nährboden für KI-Unfälle

Ähnliche Probleme bestehen auch beim Einsatz proprietärer Black-Box-Modelle, die von Dritten für einen bestimmten Zweck gekauft oder lizenziert wurden. Während der Anwender das Modell für ein einfaches Tool hält, hat er sich aus der Sicht vieler Aufsichtsbehörden in Wirklichkeit auf eine KI-Reise begeben, deren Ziel und Weg unbekannt ist. Denn die genauen Annahmen, das Training und die Verzerrungen, die in diese Blackbox eingeflossen sind, sind nicht bekannt. Darüber hinaus besteht kaum eine Chance, sicher zu wissen, dass die Black Box richtig eingesetzt wird. Einfacher ausgedrückt ist es zu diesem Zeitpunkt bereits möglich, dass das Modell – wissentlich oder unwissentlich – außerhalb des Bereichs betrieben wird, für das es entwickelt wurde.

Wie können Teams also die mit KI-Unfällen verbundenen Risiken mindern? Die Antwort liegt in klaren Governance- und MLOps-Prozessen. Um das Risiko eines KI-Unfalls zu minimieren, sollte zunächst ein klares Ziel gesetzt und gleichzeitig ermittelt werden, was außerhalb des Rahmens liegt.

Hierbei helfen folgende Fragen:

• Was sollte der Algorithmus idealerweise tun?

• Wie soll das Modell aufgeschlüsselt und implementiert werden?

• Was wurde tatsächlich implementiert? Was verhält sich möglicherweise anders als beabsichtigt?

Anschließend können entsprechende Schritte eingeleitet werden.

Schritt 1: Etablierung einer skalierbaren Übersicht

Ein erster Schritt, um KI-Unfälle zu vermeiden, liegt in einer wirksamen Überwachung aller Modelle. Arbeiten Anwender mit nur einem Modell, ist dies noch relativ einfach umzusetzen. So kann beispielsweise ein Ausschuss eingesetzt werden, der das Modell regelmäßig diskutiert, bewertet und abzeichnet. Sobald sich die Menge an Modellen allerdings erhöht, ist der Arbeitsaufwand hierzu eindeutig zu groß und das stetige Diskutieren Hunderter Modelle ist schlicht nicht realisierbar. Die Alternative: visuelle Modellvergleiche. Verschiedene KI-Plattformen bieten diese an – sie liefern einen Überblick über alle Leistungsmetriken, die Handhabung von Funktionen und Trainingsinformationen. Das unterstützt einerseits die Modellentwicklung, andererseits erleichtert es MLOps-Workflows. Mit einer solchen unternehmensweiten Governance und KI-Portfolioüberwachung können standardisierte Projektpläne, Risiko- und Qualitätsbewertungen, ein zentrales Modellregister und Workflow-Management für Überprüfungen und Freigaben implementiert werden.

Schritt 2: Testen, Verifizieren, Validieren

Regelmäßiges und ausgiebiges Testen, Verifizieren und Validieren ist eine der zentralen Grundlagen des Schutzes gegen KI-Unfälle. Indem Prozesse iteriert werden, können Teams Abweichungen erkennen und auf diese reagieren. Das gelingt besonders gut, wenn Menschen mit unterschiedlichem Hintergrund, Fähigkeiten und technischem und fachlichem Know-how einbezogen werden. Ohnehin wird immer deutlicher, dass KI ab einem bestimmten Punkt nicht mehr skalierbar ist, ohne vielfältige Teams für den Aufbau und die Nutzung der Technologie zu gewinnen. Stichwort: Demokratisierung von KI.

Schritt 3: Misserfolge einkalkulieren

Bei der Erstellung von Modellen ist bestenfalls darauf zu achten, dass diese so gemessen und analysiert werden, dass direkt Benchmarking-Fälle für die bestmöglichen Ergebnisse vorliegen. Es macht Sinn, dabei explizit verschiedene Situationen zu testen, die die KI an ihre Grenzen bringt – so ist ersichtlich, welche Auswirkungen einzelne Entscheidungen auf die Geschäftsprozesse haben. Dieser Prozess stellt ebenfalls eine Art Risikobewertung da, denn es wird nicht nur die Leistung des Modells, sondern auch die Reichweite der darauf basierenden Entscheidungen bewertet. Derartige Sicherheitsvorkehrungen empfehlen sich insbesondere, wenn KI in kritischen Geschäftsanwendungen eingesetzt wird.

Schritt 4: Richtiges Training

Beim Training der Modelle hilft es, diese direkt auf  reproduzierbare Weise zu trainieren. Das bedeutet: So dass sie systematisch auf Verzerrungen geprüft werden – immer mit dem Bewusstsein, dass auch unbewusste Verzerrungen nicht auszuschließen sind. Wurde ein Modell also von vornherein mit verzerrten Daten erstellt, wird dieses auch verzerrte Vorhersagen tätigen. 

Schritt 5: Fehler teilen

Die Sensibilisierung der Öffentlichkeit und die Aufklärung sowohl des Managements als auch der an KI-Projekten beteiligten Personen über „KI-Unfälle“ ist ein erster Schritt – und das offene Reflektieren darüber der nächste. In der Wissenschaft werden die „negativen Ergebnisse“ in der Regel nicht veröffentlicht, aber diese Praxis kann dazu führen, dass viele andere Menschen den gleichen kritischen Weg einschlagen. Der Einsatz von in KI eingebetteter Technologie ist ein aufstrebendes Gebiet, sodass nicht alles beim ersten Versuch funktionieren wird – Weder Stigmatisierung noch ein “Blame game” helfen. Das Ziel sollte sein, konstruktiv aus allen Fehlern oder unbeabsichtigten Folgen zu lernen. Außerdem sollten die Teams in Forschung und Entwicklung im Bereich der KI-Sicherheit sowie in die Entwicklung von KI-Normen und Testkapazitäten investieren.

Mit klaren Governance-Strukturen gegen KI-Unfälle

Wie jeder Algorithmus benötigt auch KI eine klare Governance, eingebettet in die Datenstrategie und entsprechende Geschäftsprozesse. Unabhängig davon, welche Art von Modell verwendet wird, muss dieses verifiziert und validiert werden. Es liegt an den Teams, die Leistung ihrer Modelle durch ein durchgängiges Lebenszyklusmanagement zu überwachen, denn letztendlich ist die Leistung das, was für die Geschäftskontinuität zählt. Der Schlüssel liegt in transparenten, vertrauenswürdigen und effizienten MLOps-Prozessen.

Dabei sollten Geschäftsexperten und Analysten stets in den Prozess eingebunden sein, um den Einfluss zu skalieren und gleichzeitig das Risiko zu steuern. Eine klare Governance für Daten, Zugriff und Modelle hilft hierbei. Es sollte stets die gleiche Strenge auf jede andere Art von Modell angewendet werden, das wichtige Entscheidungen auf der Grundlage von Daten automatisiert. Eine künstliche Trennlinie zwischen „neuen“ und „alten“ Modellierungsansätzen spielt die potenziell größeren Risiken der Letzteren herunter. Auf diese Weise können wir die Skalierung der KI wirklich ermöglichen, indem wir die Risiken begrenzen.