Bei Open Systems betrachten wir AI mit derselben Haltung wie Security: mit klarer Zielsetzung und Fokus auf Resultate. Während «Guided GenAI» im Future-of-Work-Hype-Cycle an Bedeutung gewinnt, testen viele Organisationen, wie Automatisierung ihre Security Operations verändern kann. Das Potenzial ist gross – doch ebenso die Risiken von Fehlanreizen und falscher Ausrichtung.

AI schafft in der Security nur dann Mehrwert, wenn sie das menschliche Urteilsvermögen erweitert, nicht verdrängt. Gleichzeitig stehen Security-Verantwortliche vor einer wachsenden Spannung: Wo bleibt menschliche Aufsicht unverzichtbar – und wo wird sie zum Engpass?

Diese Frage ist nicht theoretisch. Sie betrifft die Art und Weise, wie wir auf Bedrohungen reagieren, operative Resilienz sichern und Vertrauen schaffen.

Warum «Human-in-the-Loop» keine Universalantwort ist

Human-in-the-Loop (HITL) gilt heute als Grundprinzip verantwortungsvoller AI. Doch in der Praxis funktioniert es nicht immer – vor allem dann nicht, wenn Organisationen es als Allzwecklösung betrachten.

Forschung zur MABA–MABA-Fallacy zeigt, dass die Annahme «Menschen machen X, Maschinen machen Y» in komplexen Systemen nicht trägt. Je leistungsfähiger AI wird, desto paradoxer wird die Situation:

Eine rechnerisch überlegene Maschine benötigt dennoch menschliche Überwachung – und der Mensch trägt die Verantwortung, selbst wenn die Maschine genauer arbeitet.
https://www.nature.com/articles/s41599-020-00646-0

Reale Ereignisse zeigen, wie fragil dieses Modell sein kann.

Oversight Complacency: Wenn Menschen das System nicht mehr beobachten

In den USA überwachte ein Fahrer ein autonomes Fahrzeug, wurde dabei jedoch unaufmerksam, schlief offenbar ein oder spielte ein Videospiel. Der Fall endete tragisch: Auto verursachte schliesslich einen tödlichen Unfall. Die Automatisierung funktionierte über weite Strecken zuverlässig, und der Mensch, der als wachsame Rückfallebene gedacht war, war es schlicht nicht.

Ein klassisches Beispiel für Oversight Complacency:

  • Funktioniert ein System zu gut, schalten Menschen ab.
  • Ist die Aufgabe zu passiv, verlieren Menschen das Engagement.

Das Gegenstück: Alert Fatigue

In Security Operations kennen wir den gegenteiligen Effekt ebenso gut:

  • Sind zu viele Warnmeldungen irrelevant, reagieren Analystinnen und Analysten irgendwann nicht mehr.
  • Aufmerksamkeit bricht unter dem Lärm zusammen.

Oversight Complacency und Alert Fatigue sind zwei Seiten derselben menschlichen Verhaltenslogik – und beide untergraben Verantwortbarkeit.

Die Lehre daraus ist klar: Menschen können Systeme nicht sinnvoll überwachen, wenn diese so gestaltet sind, dass sie menschliche Aufmerksamkeit systematisch unterlaufen.

Auch Regulierungsbehörden beschäftigen sich zunehmend damit, was wirkungsvolle menschliche Aufsicht bedeutet. Der European Data Protection Supervisor betont, dass Aufsicht real, informiert und machbar sein muss – und nicht bloss ein symbolischer Zusatz zu automatisierten Systemen.

Das deckt sich mit unseren Erfahrungen: Teams können nicht alles beaufsichtigen, und der Versuch, dies dennoch zu verlangen, gefährdet sowohl Zuverlässigkeit als auch Motivation. Aufsicht muss gezielt sein, nicht total.

Wo Guided GenAI hilft

Guided GenAI bietet einen Weg nach vorne, weil es nicht darauf abzielt, Analystinnen und Analysten zu ersetzen oder sie mit Rohdaten zu überfluten. Stattdessen bringt es Struktur und Transparenz in Workflows, die zuvor fragmentiert oder schwer nachvollziehbar waren.

Für Open Systems bedeutet das Systeme, die:

  • erklären, warum eine Empfehlung erfolgt,
  • aufzeigen, was unsicher oder ungewöhnlich ist,
  • menschliche Aufmerksamkeit auf die Momente lenken, die wirklich Urteilsvermögen erfordern,
  • irrelevanten Lärm reduzieren, damit Aufsicht handhabbar bleibt,
  • und eine konsistente, nachprüfbare Entscheidungsbasis sicherstellen.

Guided GenAI zwingt Menschen nicht, alles manuell zu prüfen – sondern ermöglicht ihnen, sich auf die Entscheidungen zu konzentrieren, die wirklich zählen. Ohne an Geschwindigkeit zu verlieren.

Das ist Accountability by Design, nicht durch zusätzliche Belastung.

Accountability by Design, nicht by Default

Um die in der MABA–MABA-Forschung beschriebenen Fallstricke zu vermeiden, brauchen moderne SOCs ein bewusster gestaltetes Modell geteilter Verantwortlichkeit. Vier Prinzipien leiten unseren Ansatz:

1. Menschen definieren die Absicht; Maschinen führen mit Nachvollziehbarkeit aus

Interpretation, Ethik und Priorisierung bleiben menschliche Kernaufgaben. Maschinen stellen Skalierung und Konsistenz sicher.

2. Aufsicht passt sich dynamisch an Risiko und Kontext an

Einige Aktionen benötigen menschliche Freigabe; andere können autonom laufen, solange sie auditierbar bleiben. Flexibilität ist entscheidend.

3. Verantwortlichkeiten müssen explizit verteilt sein

Klare Protokolle, transparente Entscheidungsketten und definierte Eskalationswege stellen sicher, dass Verantwortlichkeit fair verteilt wird – und nicht stillschweigend auf Analystinnen und Analysten abgewälzt wird.

4. Aufsicht muss für die Teams realistisch sein

Monotone Prüfaufgaben schaffen keine Sicherheit – sie erzeugen Blindstellen. Nachhaltige Aufsicht reduziert unnötige kognitive Belastung.

Schneller sein als die Bedrohung – ohne Kontrolle zu verlieren

Maschinen verbessern sich rasant. Menschen bleiben – vergleichsweise – konstant. Das ist keine Schwäche, sondern eine Designgrenze. Die eigentliche Chance liegt darin, Systeme so zu gestalten, dass menschliches Urteilsvermögen und maschinelle Intelligenz sich ergänzen, statt einander zu überfordern.

Bei Open Systems sind wir überzeugt: Die Zukunft sicherer Operationen ist weder vollständig automatisiert noch vollständig manuell. Sie ist koordiniert: eine Partnerschaft, in der AI Expertise verstärkt, Entscheidungen klärt und Verantwortbarkeit auf jedem Schritt sicherstellt.

AI soll menschliches Urteilsvermögen nicht ersetzen. Sie soll es erweitern – zuverlässig, transparent und im grossen Massstab. So schaffen wir Security, der Kundinnen und Kunden vertrauen können, auch wenn sich das Umfeld immer schneller verändert.