KI-Governance für autonome Agenten

Und das verändert die Natur des Risikos. KI-Agenten planen, führen aus und interagieren im Namen echter Menschen mit der Welt. Sie versenden E-Mails, übertragen Daten, lösen Prozesse aus und agieren zunehmend systemübergreifend ohne menschliches Eingreifen.

Bislang war das Risiko durch menschliche Grenzen begrenzt. Selbst wenn die KI Fehler machte, musste immer noch ein Mensch zunächst darauf reagieren und zumeist waren die Folgen eher harmlos. Doch auch wenn die Auswirkungen schwerwiegender waren, waren sie durch den „Human in the Loop“ in der Regel begrenzt.

Mit KI-Agenten, die autonom agieren, verschwindet diese Grenze. Und das Risiko verlagert sich von falschen Ratschlägen hin zu raschen, groß angelegten Fehlern mit realen Konsequenzen. KI-Agenten interpretieren menschliche Absichten, agieren unter Unsicherheit und treffen Kompromisse in Umgebungen, die mit unvollständigen oder manipulierten Daten gespickt sind. Die Systeme weiten sich auf physische Bereiche wie „physische KI“, Robotik, Infrastruktur und Gesundheitswesen aus. In der Folge gilt es weniger darum sich vor finanziellen Verlusten oder Reputationsschäden zu schützen, sondern vor der realen Gefahr physischer Katastrophen und dem Verlust von Menschenleben.

Dieser Wandel hin zur „künstlichen Handlungsfähigkeit“, bei dem Entscheidungsbefugnisse ohne entsprechende Rechenschaftspflicht delegiert werden, wird mittlerweile weithin als zentrale Herausforderung für die KI Governance anerkannt.

Governance benötigt eine Renaissance

Die meisten Governance-Modelle wurden nicht für eine KI konzipiert. Sie basieren auf der Agency-Theorie, die von einem menschlichen Entscheidungsträger ausgeht, der im Namen eines anderen oder eines Unternehmensauftraggebers handelt. Governance funktioniert in diesem Modell, weil die meisten Menschen über Absichten, Bewusstsein und die Fähigkeit verfügen, Anreize, Rechenschaftspflicht und Konsequenzen zu verstehen und darauf zu reagieren. Diese Annahmen versagen im Kontext von KI-Agenten. Maschinen verinnerlichen keine Rechenschaftspflicht und passen ihr Verhalten nicht auf der Grundlage von Reputation oder Sanktionen an. Dies führt zu einer grundlegenden Diskrepanz. Die Agency-Theorie ist für sich nicht falsch, aber sie geht von einer Art von Handlungsfähigkeit aus, über die autonome Systeme schlichtweg nicht verfügen.

In dem wissenschaftlichen Aufsatz „When AI Agents Act: Governance, Accountability, and Strategic Risk in Autonomous Organizations“ von 2026 erläutert Autor Arunraju Chinnaraju, dass KI-Agenten Organisationen von Systemen der Entscheidungsunterstützung zu Systemen der Entscheidungshoheit wandeln. Genau an dieser Stelle beginnen bestehende Governance-Modelle zu straucheln.

Traditionelle Systeme halfen Menschen bei der Entscheidungsfindung; KI-Agenten sind die Entscheidungsträger. Indem sie autonom mit Maschinen-Geschwindigkeit über mehrere Bereiche hinweg agieren, verwandeln diese Agenten die Entscheidungsunterstützung in Entscheidungshoheit.

Dies führt zu einer systemischen Governance-Lücke, nicht nur zu einem technischen Risiko. Die Verantwortlichkeit wird unklar; die Aufsicht wird unwirksam, da Entscheidungen kontinuierlich statt episodisch getroffen werden; die Delegation wird dauerhaft und Kontrollmechanismen werden zu langsam. Es gibt keinen klaren Zeitpunkt mehr, an dem ein Mensch eingreifen, etwas genehmigen oder auch nur vollständig beobachten kann, was geschieht.

Governance muss mehr als „Human in the Loop“ sein

Seit Jahren ist „Human in the Loop“ die Standardantwort auf KI-Risiken. Dies setzt jedoch voraus, dass es einen klaren Entscheidungspunkt gibt, dass Menschen Zeit zum Eingreifen haben und über genügend Kontextinformationen verfügen, um zu handeln. In einer agentenbasierten Umgebung trifft keine dieser Annahmen zu.

Am wichtigsten ist vielleicht, dass das Risiko nicht mehr ereignisbasiert, sondern kumulativ ist – angetrieben von Tausenden kleiner, kontinuierlicher Entscheidungen statt von einzelnen, überprüfbaren Handlungen. Dies führt zu neuen Formen der Gefährdung wie Autoritätsdrift, Zielabweichung und Kontrollverzögerung.

Bis ein Mensch eingreift, hat der Agent möglicherweise bereits den Arbeitsablauf ausgelöst, die Daten verschoben oder Transaktionen ausgeführt. Die menschliche Aufsicht ist zu langsam, zu spät und zunehmend ineffektiv geworden.

„Human-in-the-Loop“bedeutet, dass der Mensch der Entscheidungsträger ist. „Human-on-the-Loop“ bedeutet, dass der Mensch der Vorgesetzte des Entscheidungsträgers ist. Da sich KI-Agenten von Werkzeugen, die wir nutzen, zu Akteuren entwickeln, die wir beaufsichtigen, ist das Verständnis dieses Wandels entscheidend für jede Organisation, die versucht, die Geschwindigkeit der Maschine mit menschlicher Verantwortung in Einklang zu bringen.

Das ultimative Ziel der KI-Governance besteht nicht darin, einen Menschen an jede Entscheidung zu binden, sondern eine Entscheidungsarchitektur zu entwerfen, bei der die Befugnisse des Agenten in seine Laufzeitumgebung integriert sind.

KI-Agenten als Angriffsvektor

Hinzu kommen Angreifer, die sich anpassen. Sie wissen, dass Belegschaften nicht mehr nur aus Menschen bestehen, sondern aus Menschen, die in einem KI-Ökosystem koexistieren. Dies bietet eine noch größere und attraktivere Angriffsfläche. Es gibt Techniken, die speziell darauf ausgelegt sind, die Wahrnehmung, das Denkvermögen und das Handeln von Agenten zu manipulieren, wie beispielsweise in Inhalte eingebettete versteckte Anweisungen, manipulierte Datenquellen, indirekte Prompt-Injektion und das Hijacking von Agenten. Das Ziel besteht nicht mehr nur darin, in Systeme einzudringen, sondern die Entscheidungsfindung innerhalb der KI-Systeme selbst zu beeinflussen.

Von Governance zur Laufzeit- bzw. strukturbasierter Governance

Eine der größten Lücken in vielen Modellen besteht darin, dass Governance oft als „zeitpunktbezogene“ Maßnahme oder als Kontrollinstanz vor der Bereitstellung behandelt wird, auf die möglicherweise ein jährliches Audit folgt. Doch während Governance vielleicht einmal im Jahr stattfindet, entsteht das Risiko durch agentische KI während der Ausführung jede Millisekunde.

Traditionelles Risikomanagement – manuell, iterativ und episodisch – ist für diese neue Realität schlichtweg unzureichend. Bei der Betrachtung der Risiken müssen Sicherheitsexperten über traditionelle Ansätze wie „Gatekeeping“, „Codesignierung“ und grundlegende rollenbasierte Sicherheit hinausgehen. Agenten sind dynamisch, deshalb muss auch deren Governance dynamisch sein. Dies erfordert einen grundlegenden Wandel hin zu laufzeitbasierter bzw. strukturbasierter Governance.

Um Agenten täglich effektiv zu verwalten, müssen sie als Akteure der Organisation und nicht als statische Werkzeuge betrachtet und eingestuft werden. Die Rechenschaftspflicht kann nicht länger in einer einmaligen Genehmigung verankert sein; sie muss darin verankert sein, wie Befugnisse delegiert, wie Ziele definiert und wie das Verhalten in Echtzeit überwacht wird. Effektive Governance im Zeitalter der Agenten ist keine Checkliste vor der Implementierung, sondern eine kontinuierliche, automatisierte und dynamische Architektur. Sie muss eingreifen, Befugnisse außer Kraft setzen oder widerrufen, sobald das Verhalten eines Agenten von seinem Auftrag abweicht oder ein Risiko entdeckt wird.

KI-Governance als Umsetzungsproblem

Werden KI-Agenten zu Akteuren innerhalb von Organisationen, muss sich die Governance über bloße Grundsätze hinaus in operative Strukturen verlagern. In einer agentenbasierten Umgebung existiert Governance nur dort, wo sie Entscheidungen in Echtzeit gestalten, einschränken und in sie eingreifen kann.

Camille Stewart Gloster argumentiert in ihrem Buch „The Insider you Build“, dass eine effektive Governance von KI-Agenten erfordert, dass Organisationen Agenten als formelle organisatorische Akteure und nicht als experimentelle Werkzeuge behandeln.

• Autoritätsgestaltung: Festlegen, was Agenten tun dürfen
• Durchsetzung zur Laufzeit: Sicherstellen, dass die Governance während der Ausführung funktioniert
• Zurechnung und Lernen: Aufrechterhalten der Nachverfolgbarkeit und kontinuierliche Verbesserung

Arunraju Chinnaraju schreibt, dass „Agenten Chartes“ als Berechtigungsnachweise für jeden Agenten dienen sollten. Dies könnte wie eine Betriebslizenz oder ein Reisepass für jeden KI-Agenten aussehen. Diese Art von Berechtigung würde folgendes klar definieren:

• Grenzen: Was der Agent tun darf, auf welche Daten er zugreifen darf
• Befugnisse: Wo seine Befugnisse enden
• Eskalation: Wann er eskalieren oder abgeschaltet werden muss

Ohne diese formelle Dokumentation agieren Agenten in einer Grauzone, in der die Befugnisse unklar sind und die Rechenschaftspflicht nicht durchgesetzt werden kann.

Verantwortlichkeiten sind knifflig

Autonomie hebt die Rechenschaftspflicht nicht auf, sondern verteilt sie neu. Das Papier identifiziert vier kritische Funktionen:

• einen Sponsor, der für den Zweck und die Ausrichtung verantwortlich ist
• einen Steward, der den Lebenszyklus des Agenten verwaltet
• einen Risiko-/Compliance-Verantwortlichen, der die Einhaltung gesetzlicher und ethischer Vorgaben sicherstellt
• und vor allem einen Betriebskontrolleur, der den Agenten in Echtzeit überwachen und außer Kraft setzen kann

Zusammen bilden diese Rollen einen Regelkreis, in dem die Befugnis zum Agenten fließt, die Rechenschaftspflicht jedoch durch Überwachung zurückfließt. Die Einbettung dieser Rollen in Zugriffskontrollsysteme, Prozesse und Genehmigungsprozesse, unterstützt durch Prüfprotokolle, ist unerlässlich, um informelle oder unklare Verantwortlichkeiten zu vermeiden.

Laufzeitausführung und Überwachung

Wenn KI-Agenten in Unternehmenssysteme (z. B. ERP, CRM, Transaktionsplattformen) integriert werden, müssen sie in Echtzeit beobachtbar und steuerbar sein. Wenn Organisationen die Ausführung ermöglichen, ohne das Verhalten überwachen oder eingreifen zu können, schaffen sie das, was der Artikel als strukturelles Governance-Versagen definiert, bei dem operative Fähigkeiten vorhanden sind, ohne dass Governance-Kapazitäten vorhanden sind.

Dies bedeutet: Echtzeitüberwachung, dynamische Berechtigungsvergabe, Eskalationsauslöser sowie die Möglichkeit, in Entscheidungen einzugreifen oder diese zu überschreiben, sobald sie getroffen werden. Mit anderen Worten: Governance ist nicht etwas, das man im Voraus festlegt, sondern etwas, das man im Moment der Entscheidung durchsetzen muss.

Reifegradbasierter Ansatz zur Autonomie

Um dieses Risiko zu bewältigen, schlägt die Studie einen reifegradbasierten Ansatz zur Autonomie vor, bei dem die Befugnisse schrittweise über vier Stufen hinweg erweitert werden:

• Assistierende Systeme (nur Empfehlung)
• Überwachte Ausführung
• Bedingte, begrenzte Autonomie mit Eskalationsmechanismen
• Volle Autonomie

Das zentrale Prinzip besteht darin, dass Autonomie durch den Nachweis von Kontrolle und Zuverlässigkeit verdient und nicht von vornherein gewährt werden sollte.

Schließlich werden diese Elemente in einer stufenweisen Roadmap zur Umsetzung zusammengeführt, die von der Governance-Bereitschaft über den Pilotbetrieb und die kontrollierte Skalierung bis hin zur Institutionalisierung reicht. Der Fortschritt durch diese Phasen ist an bestimmte Voraussetzungen geknüpft und erfordert den Nachweis einer wirksamen Aufsicht, Überwachung und Abstimmung, bevor der Einsatz von Agenten ausgeweitet wird. Bei Erreichen der Reifegradstufe werden Agenten in den Kernbetrieb eingebettet und unterliegen Compliance-Zyklen sowie der Aufsicht auf Vorstandsebene.

Governance jenseits von Systemen: Das Agenten-Risikomanagement (ARM)

Die jüngste kritische Auseinandersetzung mit der Aufsicht in der KI-Debatte verdeutlicht zudem eine tiefgreifendere, oft übersehene Dimension der Governance: die menschliche Verantwortlichkeit an der Spitze. Untersuchungen haben unbequeme, aber wichtige Fragen zu Vertrauen, Transparenz und der Frage aufgeworfen, wer letztendlich die Macht innehat, wenn so viel auf dem Spiel steht. Wenn Governance auf der Integrität einiger weniger Personen beruht und diese Integrität in Frage gestellt wird, wird das gesamte System anfällig.

Die Lehre für Organisationen ist klar: Governance darf nicht von Persönlichkeiten oder Versprechungen abhängen, sondern muss strukturell verankert, unabhängig überprüfbar und widerstandsfähig gegenüber Führungsversagen sein. Effektive Governance erfordert also eine klare „Gewaltenteilung“. Während Abteilungen für ihre jeweiligen Agenten verantwortlich sein sollten – ihren Zweck definieren, sie verwalten und die Ergebnisse ihrer Arbeit verwalten, sollte die Informationssicherheit den „Kill-Switch“ kontrollieren. Dies stellt sicher, dass bei Abweichungen oder Kompromittierungen eines Agenten die Entscheidung, den Betrieb einzustellen, von denjenigen getroffen wird, deren Priorität Sicherheit ist – und nicht nur Leistung.

An dieser Stelle kommt das Konzept des Agent Risk Management (ARM) ins Spiel. KI-Agenten müssen als Teil der erweiterten Belegschaft behandelt werden. Genauso wie Auftragnehmer und Drittanbieter verwaltet werden, benötigen Sicherheitsexperten ein Framework, um die digitalen Identitäten und Verhaltensweisen der KI-Akteure zu steuern.

Fazit

Einer der größten Fehler, den Organisationen nach wie vor begehen, ist die Trennung von Governance und Systemdesign. Doch Governance für Agentic AI kann nicht einfach in Form von Richtliniendokumenten, Ethikerklärungen oder übergeordneten Grundsätzen existieren. Sie muss innerhalb der Laufzeitumgebung selbst verankert sein. Doch organisatorische Governance ist nur so gut wie ihre Durchsetzungsmechanismen. Ein Unternehmen kann die perfekte Agenten-Richtlinie verfassen, aber wenn der Agent durch ausgeklügelte Verschleierung dazu verleitet werden kann, gegen sie zu verstoßen, wird die Leitlinie zur Farce.

Governance existiert nur dort, wo sie Entscheidungen gestalten, einschränken und in sie eingreifen kann, während diese getroffen werden. Eine robuste KI-Architektur wird höchstwahrscheinlich sowohl externe als auch interne Governance-Instrumente erfordern. Interne Schutzmechanismen machen den Agenten von Natur aus sicherer, ohne die Rechenleistung zu beeinträchtigen, während externe Laufzeit-Governance eine unabhängige Validierung bietet.