KI und KI-Agenten:

Spielveränderung für Cybersicherheit und Cyberkriminalität

Künstliche Intelligenz ist nicht mehr nur ein Werkzeug – sie verändert unser Leben, unsere Arbeit und auch die Cybersicherheit und Cyberkriminalität. Während Unternehmen KI nutzen, um ihre Verteidigung zu verbessern, setzen Cyberkriminelle KI als Waffe ein, um diese Angriffe skalierbarer und überzeugender zu machen.

Für das Jahr 2025 prognostizieren Forscher, dass KI-Agenten, d. h. autonome KI-gesteuerte Systeme, die in der Lage sind, komplexe Aufgaben mit minimalen menschlichen Eingaben auszuführen, sowohl Cyberangriffe als auch die Cybersicherheitsabwehr revolutionieren werden. KI-gesteuerte Chatbots gibt es zwar schon seit einiger Zeit, aber KI-Agenten gehen über einfache Assistenten hinaus und fungieren als selbst-lernende digitale Agenten, die in Echtzeit planen, ausführen und sich anpassen. Diese Fortschritte verbessern nicht nur die Taktiken von Cyberkriminellen – sie könnten das Schlachtfeld der Cybersicherheit grundlegend verändern.

Wie Cyberkriminelle KI als Waffe einsetzen: Die neue Bedrohungslandschaft

KI verändert die Cyberkriminalität und macht Angriffe skalierbarer, effizienter und zugänglicher. Verschiedene Berichte heben hervor, wie KI Cyberbedrohungen demokratisiert und es Angreifern ermöglicht, Social Engineering zu automatisieren, Phishing-Kampagnen auszuweiten und KI-gesteuerte Malware zu entwickeln. Dies wird sich jedoch mit dem Aufkommen von KI-Agenten – autonomen KI-Systemen, die in der Lage sind, komplexe Aufgaben zu planen, zu handeln und auszuführen – ändern, was erhebliche Auswirkungen auf die Zukunft der Cyberkriminalität haben wird.

KI-generiertes Phishing und Social Engineering

Generative KI und Large-Language-Models (LLMs) ermöglichen es Cyberkriminellen, glaubhaftere und ausgefeiltere Phishing-E-Mails in mehreren Sprachen zu verfassen – ohne die üblichen Auffälligkeiten wie schlechte Grammatik oder Rechtschreibfehler. KI-gestütztes Spear-Phishing ermöglicht es Kriminellen jetzt, Betrugsversuche in großem Umfang zu personalisieren und die Nachrichten automatisch an die Online-Aktivitäten der Zielperson anzupassen. KI-gestützte Business Email Compromise (BEC)-Angriffe nehmen zu, da die Angreifer KI-generierte Phishing-E-Mails verwenden, die von kompromittierten internen Konten versendet werden, um die Glaubwürdigkeit zu erhöhen. KI automatisiert auch die Erstellung gefälschter Phishing-Websites, Watering-Hole-Angriffe und Chatbot- Betrug, die als KI-gestützte Crimeware-as-a-Service-Angebote verkauft werden, wodurch die Einstiegshürde für Cyberkriminalität weiter gesenkt wird.

Deepfake-verstärkter Betrug & Impersonation

Deepfake-Audio- und Videobetrügereien werden dazu verwendet, sich als Führungskräfte, Mitarbeiter oder Familienmitglieder auszugeben, um die Opfer dazu zu bringen, Geld zu überweisen oder sensible Daten preiszugeben. Der berühmteste Vorfall aus dem Jahr 2024 betraf ein britisches Ingenieurbüro, das 25 Millionen Dollar verlor, nachdem einer seiner Mitarbeiter in Hongkong in einem Videoanruf von gefälschten Führungskräften hereingelegt worden war. Angreifer nutzen auch die Deepfake-Stimmtechnologie, um sich als verzweifelte Verwandte oder Führungskräfte auszugeben und dringende Finanztransaktionen zu verlangen.

Kognitive Angriffe 

Online-Manipulation – wie von Susser et al. (2018) definiert – ist „im Kern eine versteckte Beeinflussung – die verdeckte Unterwanderung der Entscheidungsgewalt einer anderen Person“. KI-gesteuerte kognitive Angriffe erweitern den Umfang der Online-Manipulation rapide, indem sie digitale Plattformen nutzen und staatlich unterstützte Akteure zunehmend generative KI einsetzen, um hyperrealistische gefälschte Inhalte zu erstellen und die öffentliche Wahrnehmung subtil zu beeinflussen, während sie sich der Entdeckung entziehen. Diese Taktiken werden eingesetzt, um Wahlen zu beeinflussen, Desinformationen zu verbreiten und das Vertrauen in demokratische Institutionen zu untergraben. Anders als bei konventionellen Cyberangriffen werden bei kognitiven Angriffen nicht nur Systeme kompromittiert, sondern auch die Menschen manipuliert, indem Verhaltensweisen und Überzeugungen im Laufe der Zeit subtil gesteuert werden, ohne dass sich die Zielperson dessen bewusst ist. Die Integration von KI in Desinformationskampagnen erhöht das Ausmaß und die Präzision dieser Bedrohungen dramatisch und macht es schwieriger, sie zu erkennen und zu bekämpfen.

Die Sicherheitsrisiken der LLM-Adoption

Neben dem Missbrauch durch Bedrohungsakteure birgt der Einsatz von KI-Chatbots und LLMs in Unternehmen erhebliche Sicherheitsrisiken, insbesondere wenn ungeprüfte KI-Schnittstellen das offene Internet mit kritischen Backend-Systemen oder sensiblen Daten verbinden. Schlecht integrierte KI-Systeme können von Angreifern ausgenutzt werden und neue Angriffsvektoren ermöglichen, darunter Prompt Injection, Content Evasion und Denial-of-Service-Angriffe. Multimodale KI vergrößert diese Risiken noch, da sie es ermöglicht, versteckte böswillige Befehle in Bildern oder Audiodaten einzuschleusen, um Ausgaben zu manipulieren.

Darüber hinaus funktionieren viele moderne LLMs jetzt als Retrieval-Augmented Generation (RAG)-Systeme, die dynamisch Echtzeitdaten aus externen Quellen abrufen, um ihre Antworten zu verbessern. Dies verbessert zwar die Genauigkeit und Relevanz, birgt aber auch zusätzliche Risiken wie Data Poisoning, die Verbreitung von Fehlinformationen und eine erhöhte Anfälligkeit für externe Angriffe. Eine kompromittierte oder manipulierte Quelle kann die von der KI erzeugten Ergebnisse direkt beeinflussen, was zu falschen, verzerrten oder sogar schädlichen Empfehlungen in geschäftskritischen Anwendungen führen kann.

Verzerrungen stellen innerhalb von LLMs eine weitere Herausforderung dar, da diese Modelle aus umfangreichen Datensätzen lernen, die verzerrte, veraltete oder schädliche Verzerrungen enthalten können. Dies kann zu irreführenden Ergebnissen, diskriminierenden Entscheidungen oder Fehleinschätzungen in Bezug auf die Sicherheit führen, wodurch Schwachstellen möglicherweise verschlimmert werden, anstatt sie zu verringern. Mit der zunehmenden Verbreitung von LLMs sind rigorose Sicherheitstests, Bias-Audits und Risikobewertungen – insbesondere bei RAG-gestützten Modellen – unerlässlich, um Missbrauch zu verhindern und eine vertrauenswürdige, unvoreingenommene KI-gestützte Entscheidungsfindung zu gewährleisten.

Wenn KI kriminell wird: Die Gefahren von autonomen Agenten

Da KI-Systeme heute in der Lage sind, sich selbst zu reproduzieren, wie eine aktuelle Studie zeigt, wächst das Risiko einer unkontrollierten Ausbreitung von KI oder von abtrünnigen KI-Systemen, die gegen die Interessen ihrer Schöpfer, der Nutzer oder der Menschheit im Allgemeinen handeln. Sicherheits- und KI-Forscher haben Bedenken geäußert, dass diese abtrünnigen Systeme entweder zufällig oder böswillig entstehen können, insbesondere wenn autonomen KI-Agenten Zugang zu Daten, APIs und externen Integrationen gewährt wird. Je größer die Reichweite einer KI durch Integrationen und Automatisierung ist, desto größer ist die potenzielle Gefahr, dass sie abtrünnig wird. Daher sind eine solide Aufsicht, Sicherheitsmaßnahmen und eine ethische KI-Governance von entscheidender Bedeutung, um diese Risiken zu mindern.

Die Zukunft der KI-Agenten zur Automatisierung der Cyberkriminalität

Eine noch disruptivere Veränderung in der Cyberkriminalität kann und wird von KI-Agenten ausgehen, die KI von einem passiven Assistenten in einen autonomen Akteur verwandeln, der in der Lage ist, komplexe Angriffe zu planen und auszuführen. Viele große Tech Unternehmen entwickeln bereits KI-Agenten für den geschäftlichen Einsatz, aber in den Händen von Cyberkriminellen sind die Auswirkungen alarmierend. Diese KI-Agenten können dazu verwendet werden, selbstständig nach Schwachstellen zu suchen, Sicherheitslücken auszunutzen und Cyberangriffe in großem Umfang durchzuführen. Sie können es Angreifern auch ermöglichen, riesige Mengen an persönlichen Daten von Social Media-Plattformen abzugreifen und automatisch gefälschte Anfragen von Führungskräften an Mitarbeiter zu verfassen und zu versenden oder Scheidungsakten in mehreren Ländern zu analysieren, um Personen für KI-gesteuerte Liebesbetrügereien zu identifizieren, die von einem KI-Agenten orchestriert werden. Diese KI-gesteuerten Betrugstaktiken führen nicht nur zu einer Ausweitung der Angriffe, sondern machen sie auch personalisierter und schwieriger zu erkennen. Im Gegensatz zu den aktuellen GenAI-Bedrohungen hat die agentenbasierte KI das Potenzial, ganze Operationen der Cyberkriminalität zu automatisieren und damit das Risiko erheblich zu erhöhen.

Wie können Verteidiger KI und KI-Agenten nutzen?

Unternehmen können es sich nicht leisten, angesichts von KI-gesteuerten Bedrohungen passiv zu bleiben, und Sicherheitsexperten müssen sich über die neuesten Entwicklungen auf dem Laufenden halten. Hier sind einige der Möglichkeiten, KI zur Verteidigung gegen KI einzusetzen:

1.KI-gestützte Erkennung und Reaktion auf Bedrohungen: 
Sicherheitsteams können KI und KI-Agenten einsetzen, um Netzwerke in Echtzeit zu überwachen, Anomalien zu erkennen und schneller als menschliche Analysten auf Bedrohungen zu reagieren. KI-gesteuerte Sicherheitsplattformen können automatisch riesige Datenmengen korrelieren, um subtile Angriffsmuster zu erkennen, die andernfalls unbemerkt bleiben würden, und dynamische Bedrohungsmodelle, Echtzeitanalysen des Netzwerkverhaltens und eine tiefgreifende Erkennung von Anomalien erstellen. Wie Forscher darlegen, ist die KI-gestützte Erkennung von Bedrohungen von entscheidender Bedeutung, da Angreifer zunehmend „Living off the Land“-Techniken (LOL) einsetzen, die das normale Nutzerverhalten imitieren, wodurch es für die Erkennungsteams schwieriger wird, echte Bedrohungen von harmlosen Aktivitäten zu unterscheiden. Durch die Analyse von sich wiederholenden Anfragen und ungewöhnlichen Datenverkehrsmustern können KI-gestützte Systeme Anomalien schnell erkennen und Echtzeitwarnungen auslösen, die eine schnellere Abwehrreaktion ermöglichen.

Trotz des Potenzials von KI-Agenten sind menschliche Analysten jedoch nach wie vor von entscheidender Bedeutung, da ihre Intuition und Anpassungsfähigkeit für die Erkennung nuancierter Angriffsmuster und die Nutzung echter Erkenntnisse über Vorfälle und Unternehmen unerlässlich sind, um Ressourcen wirksam zu priorisieren.

2.Automatisierte Phishing- und Betrugsprävention: 
KI-gestützte E-Mail-Sicherheitslösungen können Sprachmuster und Metadaten analysieren, um KI-generierte Phishing-Versuche zu erkennen, bevor sie die Mitarbeiter erreichen, indem sie Schreibmuster und Verhaltensanomalien analysieren. KI kann auch ungewöhnliches Absenderverhalten aufzeigen und die Erkennung von BEC-Angriffen verbessern. Ebenso können Erkennungsalgorithmen dabei helfen, die Authentizität der Kommunikation zu überprüfen und Betrügereien durch Nachahmung zu verhindern. KI-gestützte biometrische und Audio-Analyse-Tools erkennen gefälschte Medien, indem sie Unstimmigkeiten in der Stimme und im Video identifizieren.

3.Benutzerschulung und KI-gestütztes Sicherheitstraining: 
KI-gestützte Plattformen bieten personalisierte Sicherheitsschulungen, in denen KI-generierte Angriffe simuliert werden, um die Benutzer über die sich entwickelnden Bedrohungen aufzuklären und die Mitarbeiter darin zu schulen, trügerische KI-generierte Inhalte zu erkennen und ihre individuellen Anfälligkeitsfaktoren und Schwachstellen zu stärken.

4.KI-Gegenmaßnahmen für Angreifer:
Genauso wie Cyberkriminelle KI nutzen, um die Sicherheit zu umgehen, können Verteidiger KI-Techniken einsetzen, z.B. Täuschungstechnologien wie KI-generierte Honeypots, um Angreifer in die Irre zu führen und aufzuspüren, sowie kontinuierliches Training defensiver KI-Modelle, um sich entwickelnde Angriffsmuster zu erkennen und zu bekämpfen.

5.Einsatz von KI zur Bekämpfung von KI-gesteuerten Fehlinformationen und Betrügereien: 
KI-gestützte Tools können synthetischen Text und gefälschte Fehlinformationen aufspüren und so bei der Überprüfung von Fakten und der Quellenvalidierung helfen. Modelle zur Betrugserkennung können Nachrichtenquellen, Finanztransaktionen und KI-generierte Medien analysieren, um Manipulationsversuche zu erkennen. Gegenangriffe wie das Forschungsprojekt Countercloud zeigt, wie KI-basierte Bots und Deepfake-Echtzeit-Sprach-Chatbots eingesetzt werden können, um Desinformationskampagnen und Betrüger zu bekämpfen, indem sie sie in endlose Unterhaltungen verwickeln, um ihre Zeit zu verschwenden und ihre Fähigkeit einzuschränken, echte Opfer anzusprechen.

Fazit

In einer Zukunft, in der sowohl Angreifer als auch Verteidiger KI nutzen, müssen Verteidiger wissen, wie die angreifende KI funktioniert und wie KI zur Abwehr ihrer Angriffe eingesetzt werden kann. In diesem schnelllebigen Umfeld müssen sich Unternehmen vor ihrem größten Feind hüten: ihrer eigenen Selbstgefälligkeit, während sie gleichzeitig KI-gesteuerte Sicherheitslösungen mit Bedacht in Betracht ziehen. Anstatt vorschnell das nächste glänzende KI-Sicherheitstool einzuführen, sollten Entscheidungsträger die KI-gestützte Verteidigung sorgfältig prüfen, um sicherzustellen, dass sie der Raffinesse der aufkommenden KI-Bedrohungen entspricht. Ein überstürzter Einsatz von KI ohne strategische Risikobewertung könnte neue Schwachstellen schaffen, weshalb ein überlegter, maßvoller Ansatz für die Sicherung der Zukunft der Cybersicherheit unerlässlich ist.