Wenn KI-Agenten handeln: Wer hat eigentlich die Kontrolle?

In den vergangenen Jahren drehte sich die Diskussion über KI in Unternehmen vor allem darum, was KI uns sagen kann. Die nächste Phase wird davon geprägt sein, was KI tun kann. KI-Agenten gehen zunehmend über das Beantworten von Fragen, das Zusammenfassen von Informationen oder das Empfehlen nächster Schritte hinaus. Sie werden immer häufiger direkt mit Systemen interagieren, sich mit anderen Agenten koordinieren und selbst Aktionen anstoßen können.

Damit verändert sich auch die Art des Risikos. Liefert ein KI-System eine schlechte Antwort, kann ein Mensch sie ignorieren. Ändert ein KI-Agent hingegen eine Security Policy, leitet Netzwerkverkehr um oder nimmt Anpassungen an einer produktiven Umgebung vor, können die Folgen unmittelbar sein.

Die entscheidende Frage lautet deshalb nicht mehr nur, wie intelligent KI-Systeme werden, sondern: Wie viel Handlungsfreiheit wollen wir ihnen geben - und wie behalten wir die Kontrolle, wenn sie tatsächlich handeln?

Autonomie ist kein Entweder-oder

In der Diskussion über autonome KI entsteht schnell der Eindruck, es gebe nur zwei Möglichkeiten: Entweder hat der Mensch die Kontrolle oder die Maschine. Technisch liegt dazwischen jedoch ein breites Spektrum.

Ein KI-System kann ein Problem selbständig analysieren, aber vor einer Aktion die Freigabe eines Menschen benötigen. Es kann bestimmte, klar definierte und reversible Aktionen autonom durchführen. Oder es kann innerhalb einer eindeutig abgegrenzten Umgebung selbständig agieren und alles eskalieren, was außerhalb dieser Grenzen liegt.

Ich spreche hier von Bounded Autonomy, also begrenzter Autonomie. Das Ziel sollte nicht sein, einem KI-System möglichst viel Autonomie zu geben, nur weil es technisch möglich ist. Es sollte genau so viel Handlungsspielraum erhalten, wie es braucht, um eine Aufgabe effektiv und sicher zu erfüllen.

Diese Unterscheidung wird umso wichtiger, je mehr Zugriff Agenten auf operative Systeme erhalten.

Guardrails first. Autonomy second.

Ein Mensch im Loop bedeutet noch lange nicht menschliche Kontrolle

Eine der häufigsten Antworten auf die Risiken autonomer KI lautet: Der Mensch bleibt im Loop. Das klingt beruhigend, kann aber auch eine Illusion von Kontrolle erzeugen.

Stellen wir uns ein KI-System vor, das jeden Tag Hunderte Empfehlungen abgibt. Ein Mensch muss jede einzelne davon freigeben. Zu Beginn wird er wahrscheinlich jede Empfehlung genau prüfen. Erweist sich das System aber immer wieder als zuverlässig, verändert sich das Verhalten zwangsläufig. Die Freigabe wird zur Routine.

Klick. Freigeben. Klick. Freigeben.

Formal ist der Mensch noch immer im Loop. Aber ist das noch echte Kontrolle? Der Autor Cory Doctorow verwendet für ein ähnliches Verhältnis zwischen Mensch und Maschine den Begriff „Reverse Centaur“. Statt dass Technologie die menschliche Urteilskraft unterstützt, kehrt sich das Verhältnis um: Die Maschine gibt Entscheidungen und Tempo vor, während der Mensch zunehmend nur noch bestätigt oder ausführt, was sie vorschlägt.

Menschliche Kontrolle kann deshalb nicht einfach bedeuten, am Ende eines automatisierten Prozesses einen Freigabeknopf einzubauen. Menschen müssen den Entscheidungsraum kontrollieren: Was darf der Agent tun? Auf welche Systeme darf er zugreifen? Welche Aktionen müssen zwingend eskaliert werden? Welche Schwellenwerte gelten? Welche Entscheidungen sind reversibel? Und wo ist menschliches Urteilsvermögen unverzichtbar?

Damit verschiebt sich menschliche Kontrolle: weg von der Freigabe jeder einzelnen Aktion, hin zur Definition und Kontrolle der Grenzen, innerhalb derer autonome Systeme handeln dürfen.

Auch Observability müssen wir neu denken

Je autonomer KI-Systeme werden, desto wichtiger wird eine weitere Frage: Können wir im Nachhinein überhaupt verstehen, was passiert ist? Klassische Observability liefert uns viele Informationen über Systeme. Wir können Inputs, Outputs, Ereignisse, Abhängigkeiten und Aktionen protokollieren. Bei KI-Agenten ist das weiterhin notwendig, reicht aber möglicherweise nicht mehr aus.

Ein Agent kann alle richtigen Informationen erhalten und trotzdem zu einem falschen Schluss kommen, er kann einen Kontext falsch interpretieren, oder halluzinieren. Zu wissen, auf welche Informationen ein System zugegriffen hat, erklärt deshalb noch nicht zwangsläufig, warum es eine bestimmte Entscheidung getroffen hat.

In Multi-Agent-Umgebungen wird das noch komplexer: Stellen wir uns vor, Agent A delegiert einen Teil seiner Aufgabe an Agent B. Agent B zieht Agent C hinzu. Dessen Ergebnis geht zurück an Agent A und fließt dort in eine operative Entscheidung ein. Erweist sich diese Entscheidung als falsch, hilft es wenig, nur Agent A zu beobachten.

Wir müssen die gesamte Kette nachvollziehen können: Welche Agenten haben miteinander interagiert? Welche Informationen haben sie ausgetauscht? Zu welchen Schlussfolgerungen sind sie gekommen? Welche Empfehlungen wurden übernommen? Und welche Aktionen wurden letztlich ausgeführt? Mit anderen Worten: Observability muss sich vom einzelnen Agenten auf das gesamte Netzwerk von Agenten ausweiten.

Doch auch das ist nur ein Teil der Lösung. Wenn ein Agent trotz korrekter Informationen zu einer falschen Entscheidung kommen kann, brauchen wir zusätzlich Guardrails, die unplausible oder unzulässige Ergebnisse erkennen, bevor daraus Konsequenzen entstehen. Auditierbarkeit, Observability und Guardrails müssen sich deshalb gemeinsam weiterentwickeln.

Agent Security wird zu einer eigenen Disziplin

Sobald KI-Agenten handeln können, entsteht auch eine neue Angriffs- und Kontrollfläche.

Die Fragen kommen uns bekannt vor, aber der Kontext ist neu: Auf welche Daten darf ein Agent zugreifen? Wie authentifiziert er sich? Mit welchen Systemen darf er interagieren? Welche Aktionen darf er ausführen? Kann ein anderer Agent ihn manipulieren? Wie erkennen wir ungewöhnliches Verhalten? Und können wir im Nachhinein rekonstruieren, was passiert ist?

Viele Prinzipien, die wir dafür benötigen, kennen wir bereits aus der Cybersecurity. Zero Trust hat uns gelehrt, einem Nutzer oder Gerät nicht allein deshalb zu vertrauen, weil es sich innerhalb eines Netzwerks befindet. Identity and Access Management folgt dem Prinzip, nur jene Berechtigungen zu vergeben, die für eine bestimmte Aufgabe tatsächlich erforderlich sind. Moderne Security-Architekturen gehen davon aus, dass Zugriffe kontinuierlich überprüft werden müssen.

Diese Prinzipien müssen wir nun auf KI-Agenten übertragen. Wenn Agenten neben Menschen, Anwendungen und Geräten zu eigenständigen Akteuren in Unternehmensumgebungen werden, werden Agent Security und Agent Governance zu notwendigen Disziplinen für Unternehmen, die autonome KI produktiv einsetzen wollen.

Von der Assistenz zur Aktion - kontrolliert und Schritt für Schritt

Nach diesem Prinzip entwickeln wir KI auch bei Open Systems.

Unsere AI Matrix basiert auf spezialisierten Agenten für unterschiedliche Netzwerk- und Security-Aufgaben. Statt ein generisches KI-System jedes Problem lösen zu lassen, bringen einzelne Agenten spezialisiertes Know-how ein. Lucy, unsere KI-Operatorin, bildet die Schnittstelle zum Nutzer und orchestriert diese Fähigkeiten im Hintergrund.

Die Intelligenz hinter diesen Agenten basiert auf etwas, das wir in 35 Jahren Betrieb geschäftskritischer Netzwerk- und Security-Infrastrukturen aufgebaut haben: operatives Wissen aus Incidents, Support-Fällen, Playbooks, Troubleshooting-Prozessen und Millionen operativer Entscheidungen.

Heute kann Lucy bereits Netzwerk- und Security-Probleme analysieren, Konfigurationen und Policies erklären und bei der Fehlersuche unterstützen. Mehr als 60 Prozent unserer Kunden haben Lucy innerhalb der ersten Monate nach dem Produktivstart genutzt.

Der nächste Schritt besteht nicht darin, den Menschen einfach aus dem Prozess zu entfernen und die Agenten übernehmen zu lassen.

Unser Nordstern ist, Menschen von immer mehr operativen Routineaufgaben zu entlasten. Diesen Weg gehen wir jedoch bewusst schrittweise. Wir erweitern den Handlungsspielraum eines Agenten nur dort, wo wir die Auswirkungen verstehen, klare Grenzen setzen und eine Aktion bei Bedarf rückgängig machen können.

Technologien wie Digital Twins können dabei eine wichtige Rolle spielen. Bevor eine kritische Änderung in einer produktiven Umgebung vorgenommen wird, kann ein Agent die geplante Aktion zunächst in einer simulierten Umgebung testen. Freigabegrenzen, Rollback-Mechanismen und umfassende Audit Logs schaffen zusätzliche Kontrollstufen.

Genau das verstehen wir unter Autonomous SASE: nicht Autonomie um der Autonomie willen, sondern die schrittweise Entwicklung von KI-gestütztem Betrieb hin zu kontrollierter Autonomie.

Das Ziel ist nicht maximale Autonomie

Die Sorge, dass wir immer leistungsfähigeren KI-Systemen zu schnell zu viel Handlungsfreiheit geben könnten, ist nachvollziehbar. Es gibt aber auch das gegenteilige Risiko: dass wir aus Angst hochleistungsfähige KI-Systeme bauen, die zwar alles analysieren, letztlich aber fast nichts tun dürfen. Beide Extreme sind wenig sinnvoll.

Wie viel Autonomie richtig ist, hängt von den möglichen Konsequenzen einer Entscheidung ab. Sind Aktionen klar begrenzt, beobachtbar und reversibel, können Agenten mehr Handlungsspielraum erhalten. Je größer die möglichen Auswirkungen sind, desto stärker müssen die Schutzmechanismen und die Rolle menschlichen Urteilsvermögens sein.

Die Herausforderung besteht deshalb nicht darin, sich zwischen Autonomie und Kontrolle zu entscheiden. Sie besteht darin, Systeme so zu entwickeln, dass die Autonomie zunehmen kann, ohne dass die Kontrolle abnimmt. Das könnte - weit mehr als die Entwicklung immer leistungsfähigerer KI-Modelle - zu einer der entscheidenden Engineering-Herausforderungen des Agentic-AI-Zeitalters werden.