Das “Black Box” Phänomen von Agentic AI

Nun versprechen neue Systeme auf Basis von «Agentic AI» («AI Agents», «agentische KI», «KI-Systeme»), welche auf zielgerichtete Autonomie ausgelegt sind, komplexe Aufgaben mit minimaler menschlicher Aufsicht zu bewältigen. Dabei verändern sie grundlegend die Art und Weise, wie Software und Automatisierung konzipiert und genutzt wird. [1],[2],[3],[4],[5]

Während der Hype rund um vollständig autonome KI gross ist, relativiert er sich in der Realität durch technische Einschränkungen, Herausforderungen in der Datenqualität und Compliance Anforderungen. Die wesentliche Herausforderung besteht darin, den Nutzen autonomer Systeme etwa durch das Delegieren komplexer Aufgaben und das Erreichen skalierbarer Ergebnisse mit den damit verbundenen Risiken der «Black Box»-Entscheidungsfindung in Einklang zu bringen. Da LLMs probabilistisch arbeiten, können ihre Ausgaben unvorhersehbar oder fehlerhaft sein. Solche Systeme erfordern daher klare und robuste Leitplanken («Guardrails»). [6]

Regulatorische Vorgaben sowie Sicherheit und Datenschutz wie beispielsweise das revDSG, die DSGVO (GDPR) und der EU AI Act erfordern zudem eine menschliche Aufsicht und Nachvollziehbarkeit, insbesondere in kritischen Sektoren. [7],[8],[9]

Der eigentliche Mehrwert von Agentic AI entsteht deshalb erst, wenn sie in strukturierteWorkflows mit menschlicher Kontrolle eingebettet wird. In einem Proof of Concept (PoC) haben wir die Potenziale und Herausforderungen von Agentic AI untersucht. Der PoC wurde in einem Team mit Swisscom Data & AI Consulting und Noumena Digital(öffnet ein neues Fenster) Entwicklern umgesetzt.

Agentische KI-Systeme markieren einen Wandel von reaktiven KI-Modellen hin zu proaktiven Systemen, die in der Lage sind, mehrstufige Workflows und eigenständige Entscheidungsprozesse zur Zielerreichung auszuführen. Diese auf LLMs basierenden autonomen Programme nehmen ihre Umgebung wahr, planen, rufen Werkzeuge etwa durch APIs oder Model Context Protocol (MCP) Server auf und interagieren mit digitalen Umgebungen und anderen Agenten, welche beispielsweise Agent-to-Agent (A2A) Kommunikation nutzen. [10]

Agentic AI operiert in einem kontinuierlich iterativen Zyklus, der als Perception-Reasoning Action-Feedback-Schleife oder vergleichbar als Thought-Action-Observation-Zyklus beschrieben wird: [1],[10],[11],[12],[26]

1. Wahrnehmung (Perception / Observation): Das System erfasst und interpretiert diverse Datenquellen von strukturierten Daten von Datenbanken oder APIs bis zu unstrukturierten Daten wie Bildern und E-Mails.

2. «Logisches Denken» (Reasoning / Thought): LLMs oder multimodale Modelle bestimmen auf Basis der interpretierten Daten und des übergeordneten Ziels die jeweils nächste optimale Handlung und wählen diese aus den verfügbaren Werkzeugen aus.

3. Handlung (Action): Der Agent (KI) führt die ausgewählte Aktion aus, etwa durch den Aufruf einer externen API oder eines MCP-Servers, unter Einhaltung vordefinierter Schutzmechanismen (den Guardrails).

4. Rückmeldung (Observation): Das Ergebnis der Handlung wird an das System zurückgeführt und dient als Grundlage für den nächsten Schlussfolgerungsschritt oder für eine Anpassung des Plans.

Menschen können in jeder Phase dieses Zyklus zur Steuerung oder Freigabe eingebunden werden («Human-in-the-Loop»). Die KI Agenten sind dabei auf einem Kontinuum der Autonomie angesiedelt. Dieses reicht von einzelnen LLM-Aufrufen innerhalb menschlich vordefiniertenWorkflows bis hin zu hochgradig autonomen Systemen, die ihre Handlungen dynamisch und kontextabhängig selbst bestimmen. [4]

Agentische KI bietet vielfältige Vorteile, bringt jedoch zugleich erhebliche Risiken mit sich, die Unternehmen aktiv adressieren und kontrollieren müssen. Ausgewählte erfolgreiche Anwendungsfälle sind folgende:

•  Versicherungen – Schnellere Schadensbearbeitung: Agentische KI optimiert den gesamten Schadenprozess – von der ersten Schadenmeldung bis zur möglichen Auszahlung. Mit Hilfe von Natural Language Processing (NLP) oder GenAI und Bilderkennung können Schäden autonom bewertet, Betrugsfälle identifiziert und die Kommunikation automatisiert werden. Dies führt zu schnelleren und potenziell genaueren Entscheidungen. [13],[14],[15],[16]
  
• Industrie – Predictive Maintenance und digital Twins: KI-Agenten analysieren Maschinendaten, beispielsweise aus IoT-Sensoren, um Ausfälle vorherzusagen und proaktive Wartungsmassnahmen auszulösen. [17],[18] Eine Zusammenarbeit zwischen der Kion Group, Accenture und NVIDIA nutzt «digital Twins» zur Simulation und Optimierung von Lager- und Logistikprozessen, bei denen virtuelle autonome Agenten Warenflüsse und Routen steuern. [19],[20] Schweizer Startups wie www.ethon.ai und www.cerrion.com nutzen AI Agents um Erkenntnisse aus Prozessanalysen an Bediener zu liefern und/oder nach der Erkennung von Problemen automatisch weitere Workflows anzustossen.
• Öffentliche Sektoren – Workflow Automatisierung: Die KI-Suite «Humphrey» der britischen Regierung automatisiert administrative Tätigkeiten wie die Transkription von Meetings und die Analyse öffentlicher Konsultationen. Ziel ist es, Verwaltungsmitarbeitende von Routinetätigkeiten zu entlasten und ihnen mehr Zeit für strategische Aufgaben zu verschaffen. [21],[22]

Gleichzeitig existieren aber auch prominente Fehlanwendungen von künstlicher Intelligenz sowie Chatbots. In einem vielbeachteten Fall aus dem Jahr 2024, lieferte ein Chatbot von Air Canada fehlerhafte Informationen zu Kulanzregelungen bei Todesfällen. Die Fluggesellschaft wurde dafür haftbar gemacht. Dies ist ein deutliches Beispiel dafür, dass Unternehmen fürFehler ihrer KI-Systeme rechtlich verantwortlich sein können. [23],[24]

Für den Proof of Concept (PoC) nutzten wir unter anderem Tools aus dem Noumena Digital Technologie-Stack. Noumena Digital’s Technologie ist auf unternehmensgerechte Sicherheit, feingranulare Zugriffskontrollen, Audit-Trails sowie eine berechtigungsbasierte Orchestrierung ausgelegt. Um diese Fähigkeiten in der Praxis zu erproben, arbeiteten Swisscom und Noumena Digital in einem PoC-Projekt zusammen, das den Einsatz sicherer agentischer KI in der Schadenbearbeitung von Versicherungen untersuchte.

Traditionell werden Schadenfälle klassifiziert, geprüft und reguliert. Die Klassifizierung leitetden Schadenfall zur zuständigen Fachabteilung. In der Prüfung werden Vollständigkeit, Plausibilität und Validität der eingereichten Informationen bewertet, um Anspruchsberechtigung und Entschädigungshöhe festzulegen. Dabei erfordern abgelehnte Schadenfälle eine nachvollziehbare und transparente Begründung. Ein fachspezifischer Schadenregulierer überprüft die Ergebnisse zusätzlich im Hinblick auf Qualität und Fairness.

KI kann sowohl die Klassifizierung als auch die Prüfung automatisieren. In diesem PoC klassifizierte ein LLM die Schadenfälle und ermöglichte den Zugriff auf abteilungsspezifische LLM-basierte Prüfer. Zur Sicherstellung menschlicher Kontrolle verbleibt die Rolle des Schadenregulierers in der Regel beim Menschen. Um die flexible Umsetzung von Richtlinien zu demonstrieren, beinhaltete der PoC eine Zusatzregel, nach welcher Empfehlungen der Prüfer bei geringfügigen Schadenbeträgen ohne menschliche Freigabe direkt umgesetzt werden konnten. Der PoC konzentrierte sich darauf, diverse Services nahtlos zu integrieren, KI- und menschliche Interaktionen entlang nachvollziehbarer Workflows zu orchestrieren und den Zugriff von Agenten, unabhängig davon, ob es sich um KI oder Menschen handelt, strikt nach dem Need-to-know-Prinzip zu beschränken. Zudem sollten transparente Richtlinien zur Delegation von KI-Entscheidungen implementiert werden.

Verarbeitungsablauf für Schadenfälle im PoC. Die Schadenbearbeitung (Kranken-, Kfz- und Hausratversicherungen) nutzt KI zur Klassifizierung und fachabteilungsspezifischen Prüfungen (Claude Sonnet via AWS Bedrock); die finale Entscheidung erfolgt durch menschliche Schadenregulierer.

Dieser PoC demonstrierte die praktische Anwendbarkeit agentischer KI bei der Automatisierung komplexer Aufgaben, insbesondere in den folgenden Bereichen:

•  «Logisches Denken» (Reasoning): LLM-basierte Services ersetzten erfolgreich die menschliche Klassifizierung und Prüfung, indem sie auf Basis von Schaden- und Policendaten präzise und belastbare Ergebnisse lieferten.
•  Prozessautomatisierung: KI-Services ermöglichten eine weitgehend vollständige Automatisierung der Prozesse, wobei menschliche Eingriffe ausschliesslich in explizit definierten Ausnahme- oder Freigabepfaden erforderlich waren.

Darüber hinaus validierte der PoC die Wirksamkeit des technologischen Ansatzes von Noumena bei der Bewältigung zentraler Herausforderungen agentischer KI im Unternehmenskontext:

• Zugriffskontrolle: KI-Agenten benötigen kontextabhängige Berechtigungen. Das Noumena Access-Modell stellte einen Rahmen zur sicheren Orchestrierung von KI-Agenten bereit, der eine deklarative Policysprache mit Laufzeitattributen kombiniert, um Datenschutz sowie zeitlich begrenzten, bedarfsorientierten Zugriff („Need-to-know“) durch feingranulare Steuerung sicherzustellen.
  
• Auditierbarkeit: Unternehmen müssen Datenminimierung durchsetzen. Dies bedeutet, dass Agenten ausschliesslich auf die für eine konkrete Aufgabe erforderlichen Informationen zugreifen dürfen. Die Einhaltung der DSGVO erfordert strikte Kontrollen hinsichtlich Datenlöschung und Datenlokalisierung. Zudem ist die vollständige Nachvollziehbarkeit jeder von einem KI-Agenten ausgeführten Aktion erforderlich. Die Lösung stellte diese Transparenz sicher, indem sämtliche Aktionen und Entscheidungen der KI-Agenten protokolliert wurden.
•  Verantwortlichkeit und flexible Delegationsrichtlinien: KI-Agenten benötigen temporäre, prozessgebundene Zugriffsrechte mit Nichtabstreitbarkeit. Denn Organisationen sind auf klare Audit-Trails der Agentenentscheidungen angewiesen. Noumena Access ermöglicht dynamische Zugriffskontrolle und stellt Nichtabstreitbarkeit durch einen Audit-Trail sicher, der jede Aktion eindeutig autorisierten Nutzern zuordnet. Der PoC unterstützte flexible, als Code definierte Workflows („Workflow-as-Code“) für die Delegation von KI-Services sowie für menschliche Kontrollmechanismen, etwa durch Schadenbetragsgrenzen.

Insgesamt zeigte der PoC eindrucksvoll das Potenzial agentischer KI, Geschäftsprozesse durch signifikante Effizienzgewinne neu zu gestalten. Gleichzeitig belegte er die Fähigkeit der Noumena-Technologie, sichere und auditierbare agentische KI-Systeme durch klar definierte Ausführungsleitplanken („Execution Guardrails“) zu ermöglichen.

Über reine Technologieentscheidungen hinaus erfordern Projekte mit agentischer KI eine durchdachte Gesamtstrategie, um nachhaltig erfolgreich zu sein. Ein phasenweiser, strategischer Ansatz mit integrierter Risikominimierung ist entscheidend für den verantwortungsvollen Einsatz agentischer KI. Bei der Umsetzung von PoCs und Produktivsetzungen agentischer KI sollten folgende Leitprinzipien beachtet werden:

• Geeigneter Anwendungsfall: Beginnen Sie mit geschäftskritischen, jedoch risikoarmen bis moderat riskanten internen Aufgaben.
• Klare Grenzen: Beschränken Sie die Fähigkeiten und den Handlungsspielraum von Agenten zu Beginn strikt. Nutzen Sie konsequent das Human-in-the-Loop-Prinzip.
• Messen und Logging: Definieren Sie klare Erfolgskriterien und erfassen Sie sämtliche Agentenaktivitäten zur Unterstützung von Auditierbarkeit und Compliance. [6]

Darüber hinaus empfiehlt sich ein abgestufter Einführungsansatz:

1. Kontrollierter Pilot- und Beta-Betrieb: Begrenzter Funktionsumfang und intensive Überwachung mit dem Ziel, Kernfunktionalitäten zu validieren. In einer eingeschränkten Produktionsumgebung mit limitierter Nutzerbasis werden Skalierbarkeit und reale Leistungsfähigkeit getestet.

2. Breite Einführung: Schrittweise Ausweitung des Einsatzes und der Verantwortlichkeiten sowie formale Integration in Geschäftsprozesse unter klar definierten Governance-Strukturen.

3. Kontinuierliche Weiterentwicklung und Betrieb: Regelmässige Modellaktualisierungen, Performance-Reviews sowie Anpassungen an neue regulatorische Anforderungen oder Datenlagen.

Über alle Phasen hinweg sind Transparenz gegenüber allen Stakeholdern sowie der gezielte Aufbau kultureller und organisatorischer Bereitschaft von zentraler Bedeutung. [25]

Agentische KI-Systeme markieren eine neue Entwicklungsstufe von Automatisierung und intelligenter Entscheidungsfindung. Um ihr Potenzial auszuschöpfen, müssen Unternehmen die «Black Box» öffnen. Dadurch werden KI-Systeme, wie im PoC gezeigt, auditierbarer, verständlicher und durch geeignete Kontrollmechanismen sowie klare Begrenzungen steuerbarer.

Pragmatismus ist dabei entscheidend. Organisationen sollten mutig experimentieren und zugleich verantwortungsvoll steuern. Investitionen in menschliche Expertise und Transparenzwerkzeuge sind ebenso notwendig wie ein realistisches Verständnis der Rolle von KI: als leistungsfähiger Assistent, dessen Ergebnisse insbesondere in risikoreichen Anwendungsfällen kritisch hinterfragt und überprüft werden müssen. Parallel dazu sind Gesetzgeber und Branchenverbände gefordert, Standards und Audit-Frameworks zu entwickeln – vergleichbar mit denen aus der Finanzwirtschaft oder dem Sicherheitsingenieurwesen –, um verantwortungsvolle Innovation zu ermöglichen. [7]

Auditierbarkeit und Kontrolle wirken dabei nicht innovationshemmend, sondern innovationsfördernd. Vertrauenswürdige, transparente und steuerbare AI Agents werden schneller und selbstbewusster in der Breite eingesetzt. «Pragmatische Autonomie» bedeutet, Agenten so autonom wie möglich innerhalb klar verstandener Leitplanken zu gestalten, ihre inneren Abläufe kontinuierlich sichtbar zu machen und stets einen Human-in-Command-Ansatz beizubehalten. Dieser Weg erfordert Sorgfalt und Disziplin. Doch indem wir die KI-«Black Box» in eine «Glass Box» verwandeln, schaffen wir die Grundlage für eine Zukunft wirkungsvoller und vertrauensvoller Mensch-KI-Zusammenarbeit.

Autoren:

• Pierre Lugan, Head of Product (Noumena Digital AG)
  LinkedIn(öffnet ein neues Fenster)
• Tim Giger, Principal Consultant, CTO Data & AI Consulting (Swisscom)
  LinkedIn(öffnet ein neues Fenster)
• Severin Husmann, Senior Consultant Data & AI (Swisscom)
  LinkedIn(öffnet ein neues Fenster)