KI-Agenten planen Aufgaben und führen selbstständig Handlungen aus. Wie sich dadurch die Anforderungen an die AI Governance verändern und wie gute Governance die Zusammenarbeit von Menschen und KI fördern kann, erklärt Anne-Sophie Morand, Data & AI Governance Counsel bei Swisscom.
Whitepaper
Wenn Sie tiefer verstehen möchten, wie agentische KI funktioniert und welche Sicherheits-, Governance- und Datenschutzaspekte zu berücksichtigen sind und wie Unternehmen den produktiven Einsatz planen können, lohnt sich ein Blick in das Whitepaper «Von generativer zu agentischer KI».
Anne-Sophie Morand, als wir 2024 mit Ihnen über AI Governance sprachen, standen vor allem generative KI-Anwendungen im Fokus. Heute wird zunehmend über KI-Agenten diskutiert. Welche neuen Anforderungen oder auch Konsequenzen ergeben sich daraus für die AI Governance von Unternehmen?
Die Entwicklung der vergangenen Jahre zeigt eindrücklich, wie schnell sich die Einsatzmöglichkeiten künstlicher Intelligenz verändern. Während 2024 insbesondere generative KI-Anwendungen wie Chatbots im Vordergrund standen, beschäftigen sich Unternehmen zunehmend mit KI-Agenten, die auch eigenständig Aufgaben planen, auf Unternehmenssysteme zugreifen und innerhalb bestimmter Grenzen Handlungen ausführen können. Damit verschiebt sich auch der Fokus der AI Governance: Fragen der Autonomie, der Zugriffsberechtigungen, der menschlichen Kontrolle und der Verantwortlichkeiten gewinnen vermehrt an Bedeutung. Gleichzeitig müssen Unternehmen ihre AI Governance kontinuierlich an technologische Entwicklungen anpassen. Eine AI Governance ist deshalb kein einmaliges Projekt, sondern ein fortlaufender Prozess.
«Eine AI Governance ist kein einmaliges Projekt, sondern ein fortlaufender Prozess.»
Anne-Sophie Morand, Data & AI Governance Counsel bei Swisscom
Ich würde sogar noch einen Schritt weitergehen und von einer Entwicklung von AI Governance hin zu «AI Change Governance» sprechen. Denn mit der zunehmenden Integration von KI in Unternehmensprozesse geht es nicht mehr allein um die Steuerung der Technologie und ihrer Risiken, sondern auch um die Begleitung eines grundlegenden organisatorischen Wandels. Unternehmen müssen sich damit auseinandersetzen, wie Menschen und KI künftig zusammenarbeiten, wie sich Aufgaben und Verantwortlichkeiten verändern und welche neuen Kompetenzen erforderlich werden. Eine gute AI Governance muss diesen Wandel ermöglichen und begleiten.
Wesentliche Unterschiede zwischen Data Governance und AI Governance
Data Governance regelt und steuert den Umgang mit Daten.
AI Governance geht darüber hinaus: Sie schafft den Steuerungsrahmen für die Entwicklung und den Betrieb von KI-Systemen sowie für die Entwicklung und Bereitstellung von KI-Modellen mit allgemeinem Verwendungszweck (sog. GPAI-Modelle). Dabei geht es insbesondere darum, für welche Zwecke KI eingesetzt werden darf, welche rechtlichen, ethischen und betrieblichen Risiken damit verbunden sind, wer die Verantwortung trägt und welche Anforderungen an Transparenz, Sicherheit, menschliche Aufsicht und Kontrolle zu erfüllen sind.
Data Governance und AI Governance greifen somit eng ineinander. Eine funktionierende Data Governance bildet eine wichtige Grundlage für eine gute AI Governance, kann diese aber nicht ersetzen.
Was unterscheidet denn einen KI-Agenten von einem klassischen KI-Assistenten?
Bislang gibt es keine allgemeingültige Definition dafür, was genau unter einem KI-Agenten zu verstehen ist. Auch die KI-Verordnung der EU beispielsweise enthält keine eigenständige Legaldefinition. Meinem persönlichen Verständnis nach lässt sich die Unterscheidung zwischen einem klassischen KI-Assistenten und einem KI-Agenten aber wie folgt vornehmen:
Ein klassischer KI-Assistent reagiert in der Regel auf konkrete Anfragen und liefert beispielsweise einen Textvorschlag oder eine Zusammenfassung. Die weiteren Handlungsschritte werden grundsätzlich durch den Menschen bestimmt. Viele Assistenten verfügen heute jedoch bereits über agentische Funktionen wie Codeausführung oder den Zugriff auf angebundene Anwendungen, werden weniger eingegrenzt genutzt und dürfen in Ihrer Kritikalität nicht unterschätzt werden. Ein KI-Agent geht darüber hinaus. Er kann ein vorgegebenes Ziel verfolgen, die dafür erforderlichen Zwischenschritte selbstständig planen, auf Daten und Anwendungen zugreifen und Handlungen ausführen. Dabei kann er selbstständig bestimmen, welche Schritte zur Erreichung eines Ziels erforderlich sind, und sein Vorgehen entsprechend anpassen.
«Statt ein System einfach als Agenten oder Nicht-Agenten zu bezeichnen, halte ich es für sinnvoller, danach zu fragen, wie ausgeprägt seine agentischen Fähigkeiten sind und über welchen Grad an Autonomie es verfügt.»
Anne-Sophie Morand, Data & AI Governance Counsel bei Swisscom
Die Grenzen zwischen KI-Assistenten und KI-Agenten sind allerdings fliessend. Statt ein System einfach als Agenten oder Nicht-Agenten zu bezeichnen, halte ich es für sinnvoller, danach zu fragen, wie ausgeprägt seine agentischen Fähigkeiten sind und über welchen Grad an Autonomie es verfügt.
Ist denn ein KI-Agent rechtlich gesehen ebenfalls ein KI-System?
Ein KI-Agent wird in aller Regel die Definitionsmerkmale eines KI-Systems im Sinne der KI-Verordnung der EU erfüllen. Welche regulatorischen Anforderungen gelten, hängt dabei insbesondere vom konkreten Einsatzzweck und der jeweiligen Rolle der beteiligten Akteure ab. Wichtig ist zudem, dass KI-Agenten trotz ihrer möglicherweise weitreichenden Autonomie keine eigenständigen Rechtssubjekte sind. Die rechtliche Verantwortung verbleibt bei den nach den anwendbaren Vorschriften verantwortlichen natürlichen oder juristischen Personen.
Welche neuen oder erhöhten Risiken entstehen durch KI-Agenten?
Viele Risiken kennen wir bereits von klassischen KI-Systemen. Bei KI-Agenten können sie sich allerdings erheblich verstärken, weil diese nicht nur Inhalte erzeugen, sondern auch eigenständig Handlungen auslösen können.
Ein einfaches Beispiel: Wenn ein KI-Assistent eine Kundenanfrage falsch beurteilt, kann ein Mitarbeitender den Fehler erkennen, bevor weitere Schritte eingeleitet werden. Ein KI-Agent könnte aufgrund derselben Fehlbeurteilung bereits eine unberechtigte Rückerstattung veranlassen oder Kundendaten verändern, sofern er über die entsprechenden Berechtigungen verfügt.
«KI-Agenten sind trotz ihrer Autonomie keine eigenständigen Rechtssubjekte. Die rechtliche Verantwortung liegt bei natürlichen oder juristischen Personen.»
Anne-Sophie Morand, Data & AI Governance Counsel bei Swisscom
Besonders herausfordernd wird es, wenn KI-Agenten nicht nur einzelne Handlungen selbstständig ausführen, sondern auch bestimmen können, auf welchem Weg sie ein vorgegebenes Ziel erreichen. Denn damit lassen sich nicht mehr sämtliche Handlungsschritte im Voraus festlegen oder vorhersagen. Hinzu kommen zusätzliche Sicherheitsrisiken, etwa durch manipulierte Informationen, die einen KI-Agenten zu unerwünschten Handlungen veranlassen können, oder durch missbräuchliche Systemzugriffe.
Und wie verändert sich das Risikobild, wenn nicht nur ein Agent, sondern ein sogenanntes Multi-Agent-System zum Einsatz kommt?
Bei Multi-Agent-Systemen entstehen zusätzliche Risiken durch das Zusammenspiel und die gegenseitigen Abhängigkeiten der einzelnen KI-Agenten. Beispielsweise kann ein Agent auf fehlerhaften Ergebnissen eines anderen aufbauen, wodurch sich Fehler über mehrere Arbeitsschritte fortpflanzen und im schlimmsten Fall Kettenreaktionen auslösen können. Auch widersprüchliche Handlungen oder manipulierte Informationen, die zwischen Agenten weitergegeben werden, können problematisch sein. Gleichzeitig kann es schwieriger werden, die einzelnen Entscheidungen und Handlungen nachzuvollziehen.
Für die AI Governance bedeutet dies, dass es nicht ausreicht, jeden KI-Agenten isoliert zu betrachten. Vielmehr muss auch das Zusammenspiel der Agenten und damit das Gesamtsystem beurteilt und kontrolliert werden. Unternehmen müssen insbesondere festlegen, welche Aufgaben und Berechtigungen die einzelnen Agenten haben, wie sie miteinander kommunizieren und welche Informationen sie austauschen dürfen. Ebenso wichtig sind klare Verantwortlichkeiten, die Nachvollziehbarkeit der gesamten Handlungskette sowie geeignete Kontrollmechanismen, beispielsweise menschliche Freigaben bei kritischen Handlungen und ein kontinuierliches Monitoring.
Whitepaper: von GenAI zu agentischer KI
Wenn Sie tiefer verstehen möchten, wie agentische KI technisch funktioniert und welche Sicherheits-, Governance- und Datenschutzaspekte zu berücksichtigen sind und wie Unternehmen den produktiven Einsatz planen können, lohnt sich ein Blick in das Whitepaper «Von generativer zu agentischer KI».
Die Schweiz verfügt über kein KI-Gesetz nach dem Vorbild des EU AI Act. Weshalb sollten sich Schweizer Unternehmen trotzdem mit AI Governance beschäftigen, und wie könnte sich die Regulierung künftig weiterentwickeln?
Bereits heute müssen Unternehmen beim Einsatz von KI zahlreiche bestehende Rechtsvorschriften beachten, insbesondere das Datenschutzrecht, den Persönlichkeits- und Geheimnisschutz, das Vertragsrecht und das Immaterialgüterrecht sowie gegebenenfalls sektorspezifische Regulierungen. Hinzu kommt, dass die KI-Verordnung der EU aufgrund ihrer extraterritorialen Wirkung unter bestimmten Voraussetzungen auch für Schweizer Unternehmen direkt anwendbar sein kann.
Gleichzeitig arbeitet die Schweiz an einer eigenen KI-Regulierung. Ende März 2025 hat sie die KI-Konvention des Europarats unterzeichnet, deren Umsetzung ins Schweizer Recht derzeit vom Bundesamt für Justiz vorbereitet wird. Nach dem aktuellen Zeitplan soll im Frühjahr 2027 eine Vernehmlassungsvorlage vorliegen.
Wer wissen möchte, welche regulatorischen Anforderungen künftig auf uns zukommen könnten, muss nicht weit suchen. Ich empfehle dazu einen Blick in die KI-Konvention des Europarats und den dazugehörigen erläuternden Bericht. Die Konvention formuliert Grundsätze, die über einzelne Branchen hinaus relevant sind. Dazu gehören beispielsweise Transparenz und menschliche Aufsicht, der Schutz vor Diskriminierung sowie das Risikomanagement. Aus meiner Sicht spricht dies dafür, grundlegende Anforderungen an KI in der Schweiz bereichsübergreifend zu regeln und nur bei Bedarf durch sektorspezifische Vorschriften zu ergänzen.
Eine frühzeitig etablierte AI Governance ermöglicht es Unternehmen, sich vorausschauend auf künftige regulatorische Anforderungen vorzubereiten. Wer bereits heute über funktionierende Governance-Strukturen verfügt, wird diese bei neuen gesetzlichen Vorgaben gezielt anpassen können, statt später wieder bei null beginnen zu müssen.
Swisscom arbeitet seit mehreren Jahren mit einem risikobasierten Ansatz. Welche Erkenntnisse haben sich hierbei als besonders wichtig erwiesen?
Eine wichtige Erkenntnis ist erstens, dass sich unser risikobasierter Ansatz sehr bewährt hat. Inzwischen haben zahlreiche KI-Systeme unseren Governance-Prozess durchlaufen. Dabei zeigt sich, dass mehr als 95 Prozent der KI-Systeme, die wir entwickeln oder betreiben, unseren beiden unteren Risikokategorien (Minimal Risk und Low Risk) zugeordnet werden können. Nur eine Handvoll gelten tatsächlich als Hochrisiko-KI-Systeme.
Besonders bewährt hat sich zweitens, dass wir uns bei der Risikoklassifizierung zwar an der KI-Verordnung der EU orientieren, diese bei der Hochrisikokategorie aber bewusst um eigene Risikokriterien ergänzt haben. Denn auch KI-Systeme, die nach der KI-Verordnung der EU nicht als Hochrisiko-KI-Systeme gelten, können aus Unternehmenssicht erhebliche Risiken mit sich bringen, beispielsweise für die Reputation des Unternehmens. Dadurch nehmen wir unsere unternehmerische Eigenverantwortung wahr und bewahren gleichzeitig die notwendige Flexibilität, um auf neue technologische Entwicklungen und Einsatzmöglichkeiten reagieren zu können.
Was sind Ihrer Ansicht nach die wichtigsten Empfehlungen für Unternehmen, die eine AI Governance neu aufbauen oder ihre bestehende Governance weiterentwickeln möchten?
Es gibt zahlreiche Empfehlungen für den Aufbau einer funktionierenden AI Governance. Wenn ich mich auf drei besonders wichtige Punkte beschränken müsste, wären es die folgenden:
Erstens: Transparenz schaffen und Verantwortlichkeiten klären. Unternehmen sollten zunächst wissen, wo und wofür KI tatsächlich eingesetzt oder entwickelt wird. Entscheidend ist hierbei, dass für jedes KI-System und, soweit relevant, auch für GPAI-Modelle klare Verantwortlichkeiten festgelegt werden.
Zweitens: Risikobasiert vorgehen. Nicht jedes KI-System benötigt dieselben Vorgaben und Kontrollen. Unternehmen sollten ihre KI-Systeme anhand nachvollziehbarer Kriterien und unter Berücksichtigung des jeweiligen Einsatzzwecks und Risikopotenzials beurteilen. Daraus lassen sich angemessene Anforderungen an die Entwicklung und den Betrieb ableiten.
Drittens: AI Governance als kontinuierlichen Prozess verstehen. Die technologische Entwicklung ist zu dynamisch für starre Regelwerke. Unternehmen sollten deshalb pragmatisch vorgehen, bestehende Strukturen und Prozesse nutzen und ihre AI Governance schrittweise aufbauen beziehungsweise weiterentwickeln. Gerade neue Entwicklungen wie KI-Agenten zeigen, wie wichtig es ist, bestehende Governance-Vorgaben und Kontrollmechanismen regelmässig zu hinterfragen und anzupassen.
Letztlich sollte eine gute AI Governance nicht als bürokratische Hürde verstanden werden, sondern als Grundlage für Innovation. Sie schafft den notwendigen Rahmen, damit Unternehmen die Chancen künstlicher Intelligenz nutzen können, ohne die damit verbundenen Risiken aus den Augen zu verlieren.
Über Anne-Sophie Morand
Dr. Anne-Sophie Morand, LL.M., ist Rechtsanwältin und arbeitet seit 2023 als Data & AI Governance Counsel bei Swisscom, wo sie den Aufbau und die Implementierung der unternehmensweiten AI Governance leitet. Ihre Schwerpunkte liegen im Datenschutz und an der Schnittstelle von KI und Recht. Zuvor war sie u. a. für das Schweizer Parlament, den EDÖB sowie eine Wirtschaftskanzlei tätig. Ab Februar 2027 wird sie Professorin für «Recht der digitalen Transformation und der Künstlichen Intelligenz» an der ZHAW School of Management and Law.
