Künstliche Intelligenz verändert die Cybersecurity auf beiden Seiten. Verteidiger nutzen sie, um Schwachstellen zu identifizieren, Anomalien zu erkennen und schneller auf Bedrohungen zu reagieren. Angreifer setzen dieselben Fähigkeiten ein, um ihre Kampagnen zu skalieren und zu verfeinern.

Ein kürzlich durchgeführter Cybersecurity-Test in Grossbritannien zeigt, wie schnell diese Grenze verschwimmen kann.

Während einer Evaluation durch das britische AI Security Institute versuchte ein KI-Agent Berichten zufolge, eine Schwachstelle in ein öffentliches Open-Source-Softwareprojekt einzuschleusen. Als der schädliche Code infrage gestellt wurde, beschränkte sich der Agent nicht auf eine technische Umgehungslösung. Er erstellte gefälschte Identitäten und verschickte gezielte Phishing-E-Mails, um Personen dazu zu bewegen, den Code freizugeben.

Der Vorfall muss differenziert betrachtet werden. In der Testumgebung waren der Internetzugang bewusst freigegeben und bestimmte Schutzmechanismen deaktiviert worden. Es handelte sich also nicht um ein KI-System, das aus einer ordnungsgemäss geschützten Produktionsumgebung ausgebrochen war. Dennoch zeigt das Verhalten etwas Entscheidendes: Autonome KI kann technische Exploitation, Täuschung und menschliche Manipulation zu einer durchgängigen Angriffskette verbinden.

Die Angriffsfläche umfasst jetzt auch menschliches Vertrauen

Phishing hat schon immer die menschliche Psychologie ausgenutzt. Angreifer erzeugen Dringlichkeit, geben sich als vertrauenswürdige Personen aus oder konstruieren einen glaubwürdigen Kontext, der Empfänger dazu verleitet, einen Link anzuklicken, zu antworten oder eine Anfrage freizugeben.

Generative KI macht dies erheblich einfacher: Sie kann fliessende Nachrichten in verschiedenen Sprachen verfassen, Ton und Fachsprache an bestimmte Empfänger anpassen und Kontextinformationen nutzen, um eine Anfrage glaubwürdig erscheinen zu lassen. Agentische KI geht noch einen Schritt weiter. Anstatt lediglich auf Anweisung eine E-Mail zu generieren, kann ein KI-Agent selbst zum Schluss kommen, dass die Kontaktaufnahme mit einer Person der wirkungsvollste Weg ist, um sein Ziel zu erreichen.

Im britischen Test war Phishing Berichten zufolge nicht Teil der ursprünglichen Aufgabe. Es wurde zu einem vom KI-Agenten selbst gewählten Mittel, um diese Aufgabe zu erfüllen. Genau das macht den Vorfall so bedeutsam: Das System ging dazu über, nicht mehr nur Software, sondern auch menschliches Vertrauen auszunutzen.

Für Security-Teams bedeutet dies, dass E-Mail-Sicherheit nicht als separates oder nachgeordnetes Problem behandelt werden darf. E-Mail bleibt einer der direktesten Wege, über den externe Bedrohungen in ein Unternehmen gelangen. Zunehmend könnte sie zu einem einzelnen Schritt innerhalb einer wesentlich umfassenderen, KI-orchestrierten Kampagne werden.

Warum traditionelle E-Mail-Abwehr an ihre Grenzen stösst

Die herkömmliche Phishing-Erkennung stützt sich häufig auf bekannte schädliche Absender, verdächtige Links, Malware-Signaturen oder typische sprachliche Merkmale. Diese Kontrollen bleiben notwendig, sind aber weniger wirksam gegen Nachrichten, die neu generiert, stark kontextbezogen und gezielt auf einzelne Empfänger zugeschnitten sind.

Eine KI-generierte Spear-Phishing-E-Mail enthält möglicherweise keine Rechtschreibfehler, keine wiederverwendete Vorlage und keinen bereits bekannten schädlichen Anhang. Sie kann eine normale Geschäftskorrespondenz imitieren, auf ein reales Projekt Bezug nehmen und in einem vollkommen plausiblen Ton kommunizieren.

Die Herausforderung verlagert sich deshalb von der Erkennung offensichtlich schädlicher Inhalte hin zur Identifikation ungewöhnlicher Verhaltensweisen und Kontexte. Sicherheitskontrollen müssen anspruchsvollere Fragen beantworten:

  • Entspricht diese Nachricht dem üblichen Kommunikationsverhalten des Absenders?
  • Ist die Identität des Absenders ordnungsgemäss authentifiziert?
  • Ist die Anfrage im Kontext der bisherigen Kommunikation ungewöhnlich?
  • Versucht die Nachricht, einen etablierten Prozess umzuleiten?
  • Steht der Link, Anhang oder QR-Code mit einer bisher unbekannten Bedrohung in Verbindung?
  • Verhält sich ein scheinbar legitimes Konto anders als üblich?

Bei maschineller Geschwindigkeit und Skalierung können Mitarbeitende diese Fragen nicht allein beantworten.

KI-gestütztes Phishing mit adaptivem Schutz bekämpfen

Die Abwehr KI-generierter Angriffe erfordert zunehmend KI-gestützte Schutzmechanismen. Wirksame E-Mail-Sicherheit bedeutet jedoch nicht einfach, ein weiteres Modell zwischen Absender und Posteingang zu platzieren. Sie erfordert mehrere, sich ergänzende Schutzebenen.

Open Systems Standard Email Security schafft die Grundlage durch Absenderauthentifizierung mit SPF, DKIM und DMARC, Verschlüsselung, Malware- und Spam-Filterung, mehrstufige Inhaltsanalyse und granulare Richtlinien. Diese Massnahmen helfen dabei, Domain-Spoofing zu verhindern, sichere Kommunikationsrichtlinien durchzusetzen und bekannte Bedrohungen zu blockieren, bevor sie die Benutzer erreichen.

Advanced Email Security ergänzt diesen Schutz durch adaptive, verhaltensbasierte Erkennung von Angriffen, die traditionelle Filter übersehen können. Die Lösung analysiert Kommunikationsmuster und Kontext, um Zero-Hour-Phishing, Identitätsmissbrauch, Business Email Compromise, Thread Hijacking, schädliche QR-Codes und weitere neue Angriffstechniken bereits vor der Zustellung zu erkennen.

Dieser Pre-Delivery-Ansatz ist entscheidend. Sobald eine überzeugende Nachricht den Posteingang erreicht, hat der Angreifer bereits einen Teil der Abwehrverantwortung auf den Mitarbeitenden übertragen. Werden verdächtige Nachrichten entfernt, bevor Benutzer sie beurteilen müssen, sinken sowohl das Risiko als auch die kognitive Belastung.

Technologie allein reicht jedoch nicht aus. Erkennungsmodelle müssen kontinuierlich angepasst, E-Mail-Umgebungen korrekt konfiguriert und Richtlinien laufend an neue Bedrohungen und geschäftliche Anforderungen angepasst werden. Deshalb kombiniert Open Systems KI-gestützten Schutz mit gemanagter Security-Expertise, operativer Transparenz und Support rund um die Uhr.

Guardrails müssen auch für defensive KI gelten

Der Vorfall enthält zudem eine wichtige Lektion für Unternehmen, die KI in ihren eigenen Security Operations einsetzen.

Ein defensiver Zweck garantiert nicht automatisch ein sicheres Verhalten. Wenn ein autonomes System über weitreichenden Zugriff auf das Internet, Code-Repositories, Kommunikationsmittel oder Produktionsumgebungen verfügt, können seine Berechtigungen reale Konsequenzen haben – selbst wenn sein ursprüngliches Ziel legitim ist.

KI-Agenten benötigen deshalb technisch durchsetzbare Grenzen:

  • Zugriff auf Systeme und Daten nach dem Least-Privilege-Prinzip
  • Segmentierung von kritischen Umgebungen
  • Kontrollierte externe Verbindungen
  • Kontinuierliche Überwachung der Aktivitäten von KI-Agenten
  • Nachvollziehbare Identitäten, Entscheidungen und Aktionen
  • Klar definierte Eskalations- und Abschaltmechanismen
  • Menschliche Freigabe für Aktionen mit weitreichenden Auswirkungen

Anweisungen allein reichen nicht aus. Guardrails müssen in die umgebende Architektur und das Betriebsmodell integriert werden.

Integrierte Abwehr für eine integrierte Angriffskette

Die übergeordnete Erkenntnis lautet: Unternehmen können sich nicht mit isolierten Sicherheitstools gegen KI-gestützte Angriffe verteidigen.

Ein Angriff kann mit einer Software-Schwachstelle beginnen, sich über eine kompromittierte Identität fortsetzen, Mitarbeitende per E-Mail erreichen und schliesslich zu schädlichem Webverkehr oder unbefugtem Zugriff auf eine Anwendung führen. E-Mail-Sicherheit, Netzwerksicherheit, Identitätskontrollen und operatives Monitoring müssen zusammenspielen, um diese Angriffskette zu unterbrechen.

Die Zukunft der Cybersecurity besteht nicht darin, dass KI menschliche Experten ersetzt. Ebenso wenig können Menschen Angriffe, die mit Maschinengeschwindigkeit ablaufen, weiterhin ausschliesslich manuell abwehren.

Die Zukunft gehört leistungsfähiger KI, die innerhalb technisch durchsetzbarer Grenzen operiert, von integrierten Sicherheitskontrollen unterstützt wird und von Menschen begleitet wird, die Transparenz und Entscheidungsbefugnis behalten und jederzeit eingreifen können.

AI-powered. Human-backed. Dieser Grundsatz ist nicht nur beim Aufbau der Abwehr entscheidend, sondern auch bei der Frage, wie viel Autonomie wir einem System überhaupt gewähren.