KI definiert die IT-Sicherheit neu:

Die doppelte Rolle im Cyberkrieg

Die gute Nachricht zuerst: Noch schreiben keine autonomen KI-Agenten flächendeckend Zero-Day-Exploits. Die schlechte: Angreifer setzen KI längst ein, um ihre Taktiken effizienter und skalierbarer zu machen. Ein Beispiel hierfür sind täuschend echte Phishing-Mails, die auf Knopfdruck in perfektem Stil formuliert und personalisiert werden. Deepfakes und synthetisch geklonte Stimmen senken die Hemmschwelle für Social Engineering drastisch. Zudem liefert generative KI immer bessere Hilfestellung um Cyberangriffe effizienter, ausgefeilter und schwerer erkennbar zu machen.
Doch die Gefahr lauert noch woanders: Auch die KI an sich beziehungsweise ein unzureichend abgesichertes Modell bietet neue Angriffsflächen. Werden beispielsweise Trainingsdaten manipuliert, kann dies zu Fehlentscheidungen führen – was fatal ist, wenn eine KI geschäftskritische Prozesse steuert. Ebenso problematisch ist, dass viele Modelle Black Boxes sind. Wer verstehen will, warum eine KI eine bestimmte Empfehlung gibt, steht oft vor einem Rätsel.

KI-Risiken setzen Unternehmen unter Druck

Was bedeutet das nun für Unternehmen? Diese müssen ihre KI in Bezug auf drei unterschiedliche Sicherheitsrisiken einem gründlichen Check unterziehen. Da ist zunächst einmal die Tatsache, dass Regularien eine weitreichende Transparenz erfordern: Diskriminierendes oder unfaires Verhalten ist ebenso verboten wie die Verarbeitung personenbezogener Daten ohne explizite Zustimmung. Die DSGVO ist deshalb von Bedeutung, auch wenn sie sich nicht direkt auf die Technologie bezieht. Einen beträchtlichen Handlungszwang bringt auch die KI-Verordnung (KI-VO) mit sich, wie sich die Umsetzung des EU AI Act in Deutschland nennt. Viele Unternehmen gehen fälschlicherweise davon aus, dass sie deren Vorgaben nicht treffen, da sie „keine KI entwickeln“. Betreiber und damit Verpflichteter im Sinne der KI-Verordnung ist jedoch bereits, wer „ein KI-System unter seiner Befugnis verwendet“. Das kann zum Beispiel die Einbindung eines LLMs als Chatbot innerhalb einer App sein. Auch in Bezug auf verbotene KI-Praktiken oder Hochrisiko-Systeme wiegen sich viele Unternehmen in falscher Sicherheit. Dabei wird übersehen, dass sich etwa der Einsatz von KI im Kundenservice, die Emotionen erkennt und daraufhin entsprechende Vorschläge für die Kommunikation unterbreitet, bereits im Grenzbereich bewegt.

Neben diesen Compliance-Themen droht Gefahr in einem zweiten Punkt: Direkte Angriffe auf die KI beziehungsweise die Lieferkette sind zwar nicht neu, stellen inzwischen jedoch ein großes Problem dar. Eine Prompt Injection beispielsweise ist eine Art Cyberangriff auf große Sprachmodelle. Dabei tarnen Hacker böswillige Eingaben als legitime Prompts und manipulieren so Systeme für generative KI. Diese geben dann vertrauliche Daten preis, verbreiten Fehlinformationen oder verursachen Schlimmeres: Mit dem richtigen Prompt könnten Kriminelle einen Chatbot für den Kundenservice beispielsweise dazu bringen, die privaten Kontodaten der Benutzer weiterzugeben. Beim Data Poisoning hingegen schleusen Angreifer gezielt fehlerhafte oder bösartige Trainingsdaten ein, um die Genauigkeit der Vorhersagen zu verfälschen. In der Folge wird ein Spamfilter, der durch manipulierte Trainingsmails lernt, bestimmte Begriffe zu ignorieren, zum Einfallstor für schadhafte E-Mails.
Drittens nimmt der Missbrauch von KI-Systemen durch Cyberkriminelle immer weiter zu. GenAI-Modelle formulieren perfekte Phishing-Mails in beliebigen Sprachen. Deepfake-Technologien imitieren Stimmen oder erstellen täuschend echte Videos. So entstehen Betrugsmaschen, die selbst geübte Empfänger kaum mehr entlarven können. Auch Schadcode lässt sich mit KI schneller anpassen, testen und tarnen – eine Aufgabe, für die früher tiefgehendes Fachwissen nötig war.

Es gibt Gegenmaßnahmen, sie müssen nur umgesetzt werden

Unternehmen sollten also schleunigst ihre Hausaufgaben machen. In puncto Compliance sollte das Ziel eine Explainable AI (XAI) sein, um die Entscheidungen von KI-Systemen besser nachvollziehbar zu machen und so potenzielle Schwachstellen frühzeitig zu erkennen. Audits, regelmäßige Retrainings mit validierten Daten und die Absicherung der Datenpipelines gehören ebenso zu einer robusten KI-Governance wie Versionierung und Zugriffskontrollen. Angesichts der Vorgaben der KI-VO in Bezug auf Transparenz- und Kennzeichnungspflichten ist zudem die Benennung einer übergreifenden Koordinationsrolle sinnvoll. Parallel dazu sollten Unternehmen ein Team mit verschiedenen Kompetenzen und Zuständigkeiten sowie klaren Verantwortungsprofilen implementieren.
Was Angriffe auf die KI-Lieferkette betrifft, so sind die Gegenmaßnahmen gar nicht so einfach. Denn Prompt Injection und Data Poisoning, die beide die grundlegende Funktionsweise von LLMs für sich ausnutzen, sind schwer zu erkennen und zu verhindern. Tatenlos zusehen muss trotzdem niemand. Unternehmen können Prompt-Injection-Angriffe stoppen, indem sie Filter verwenden, die Benutzereingaben mit bekannten Injections vergleichen und ähnlich aussehende Prompts blockieren. Zudem sollten sie den LLMs und zugehörigen APIs nur die Berechtigungen gewähren, die für die Aufgaben unbedingt erforderlich sind. Apps können darüber hinaus verlangen, dass menschliche Benutzer ihre Ausgaben manuell überprüfen und ihre Aktivitäten autorisieren, bevor sie eine Aktion durchführen. Um Data Poisoning frühzeitig zu erkennen, noch bevor die KI manipuliert wurde, ist es wichtig, die Qualität und Herkunft der Trainingsdaten hinsichtlich verdächtiger Punkte oder Anomalien zu prüfen und zu überwachen. Darüber hinaus ist es sinnvoll, Kontrollmechanismen einzuführen, um festzulegen, wer Zugriff auf Trainingsdatensätze erhält und wer Daten einfügen oder verändern darf. Das Risiko von Data Poisoning lässt sich zudem reduzieren, indem die Robustheit und Abwehrkraft der KI-Modelle gegenüber dieser Art von Angriff gestärkt werden. Beim sogenannten Adversarial Training werden absichtlich schädliche Daten eingefügt. Das so nachtrainierte Modell ist anschließend in der Lage, diese zu erkennen und nicht weiterzuverwenden.

KI als Schutzschild gegen Cyberangriffe

Der Missbrauch von KI-Systemen durch Cyberkriminelle lässt sich mithilfe derselben Technologie abwehren. Moderne Sicherheitsarchitekturen nutzen maschinelles Lernen, um Anomalien im Netzwerkverkehr, im Benutzerverhalten oder in Systemprotokollen zu identifizieren. Ein ML-basiertes Intrusion-Detection-System analysiert den Netzwerkverkehr in Echtzeit und lernt dabei ständig, welche Aktivitäten normal sind und welche nicht. Das System beobachtet, wie sich Benutzer oder Geräte typischerweise verhalten, und schlägt Alarm, wenn verdächtige Aktionen auftreten – etwa ein unerwarteter Datenexport außerhalb der Arbeitszeit. Gerade bei Zero-Day-Angriffen, die auf keine bekannten Signaturen zurückgreifen, spielen KI-basierte Mustererkennung und Abweichungsanalysen ihre Stärken aus.

Doch das Erkennen allein reicht nicht aus. Je nach Schweregrad muss eine Bedrohung innerhalb von Sekunden eingedämmt werden. Genau hier setzt ein automatisiertes Incident Response an. Mithilfe von Security Orchestration, Automation and Response (SOAR) können Reaktionsschritte automatisiert ablaufen. Verdächtige Endpoints werden isoliert, infizierte Dateien in Quarantäne verschoben und Netzwerksegmente abgetrennt. Menschliche Analysten greifen nur noch ein, wenn es wirklich notwendig ist. Die nächste Stufe ist dann Predictive Security: KI wertet kontinuiierlich die Daten der Endpunkte, des Netzwerks, Logs, Benutzerverhalten, Schwachstellenberichte sowie externe Bedrohungsinformationen aus um mögliche Einfallstore frühzeitig zu identifizieren. Unternehmen können so Patches priorisieren, besonders gefährdete Systeme härten und Zugriffe rechtzeitig einschränken.

Wo die Technik an ihre Grenzen stößt

So vielversprechend KI in der Cyberabwehr ist – menschliche Erfahrung und Expertise sind und bleiben unersetzbar. Ein zu sensibel eingestelltes System erzeugt Unmengen an Fehlalarmen (False Positives) und erschwert die Arbeit der Analysten erheblich. Irgendwann werden die Meldungen einfach ignoriert. Ist das Modell dagegen zu tolerant, übersieht es kritische Bedrohungen. Ein präzises Feintuning ist daher Pflicht – ebenso wie die Schulung der Teams, die die Ergebnisse interpretieren und bei Bedarf nachjustieren müssen. Bei kritischen Aufgaben sollte immer ein Mensch involviert sein, denn am Ende ist KI ein Werkzeug und keine eigenständig handelnde Instanz. Zudem sind Fachkräfte gefragt, die KI-Algorithmen nachtrainieren, überwachen und interpretieren können. Ohne entsprechende Expertise in den Bereichen Data Science, Security Analytics und Modellvalidierung kann KI in der Abwehr mehr Probleme schaffen, als sie löst.

Kurzum: KI ist weder per se ein Sicherheitsrisiko noch eine Wunderwaffe, sondern ein Werkzeug, dessen Potenzial und Gefahren gleichermaßen beherrscht werden müssen. Unternehmen müssen ihre Modelle absichern, die Nutzung klar regeln und gleichzeitig die Möglichkeiten der Technologie in ihre Security-Strategie integrieren. Nur so lässt sich sicherstellen, dass KI nicht zum Einfallstor für Cyberangriffe wird.