Les agents IA sont capables de planifier des tâches et d’agir en autonomie. Anne-Sophie Morand, Data & AI Governance Counsel chez Swisscom, explique leur influence sur les exigences en matière de gouvernance de l’IA et démontre comment une bonne gouvernance peut favoriser la collaboration entre l’humain et l’IA.
Livre blanc
Consultez le livre blanc «De l’IA générative à l’IA agentique» si vous souhaitez mieux comprendre le fonctionnement de l’IA agentique, connaître les aspects de sécurité, de gouvernance et de protection des données à prendre en compte et découvrir comment les entreprises peuvent planifier leur utilisation productive.
Anne-Sophie Morand, lorsque nous avons abordé avec vous la gouvernance de l’IA en 2024, nous nous sommes surtout concentrés sur les applications d’IA génératives. Aujourd’hui, on parle de plus en plus d’agents IA. Quelles nouvelles exigences ou conséquences en découlent pour la gouvernance de l’IA des entreprises?
L’évolution de ces dernières années montre la vitesse impressionnante à laquelle les possibilités d’utilisation de l’intelligence artificielle évoluent. Alors qu’en 2024, l’accent était mis notamment sur les applications d’IA génératives telles que les chatbots, les entreprises s’intéressent aujourd’hui de plus en plus aux agents IA capables de planifier des tâches de manière autonome, d’accéder aux systèmes de l’entreprise et d’exécuter des actions dans certaines limites. Cela modifie également l’orientation de la gouvernance de l’IA: les questions en lien avec l’autonomie, les autorisations d’accès, le contrôle humain et les responsabilités gagnent en importance. Parallèlement, les entreprises doivent constamment adapter leur gouvernance en matière d’IA aux évolutions technologiques. La gouvernance de l’IA n’est donc pas un projet ponctuel, mais un processus continu.
«Une gouvernance de l’IA n’est pas un projet ponctuel, mais un processus continu.»
Anne-Sophie Morand, Data & AI Governance Counsel chez Swisscom
J’irais même plus loin en parlant d’une évolution de la gouvernance de l’IA vers une gouvernance du changement en matière d’IA. En effet, avec l’intégration croissante de l’IA dans les processus de l’entreprise, il ne s’agit plus seulement de piloter la technologie et ses risques, mais aussi d’accompagner un changement organisationnel fondamental. Les entreprises doivent s’interroger sur la manière dont les humains et l’IA collaboreront à l’avenir, sur l’évolution des tâches et des responsabilités et sur les nouvelles compétences requises. Une bonne gouvernance de l’IA doit permettre mais aussi accompagner ce changement.
Principales différences entre la gouvernance des données (Data Governance) et la gouvernance de l’IA
La gouvernance des données régit et gère la gestion des données.
La gouvernance de l’IA va au-delà: elle établit le cadre de référence pour le développement et l’exploitation de systèmes d’IA ainsi que pour le développement et la mise à disposition de modèles d’IA à usage général (modèles GPAI). Il s’agit notamment de savoir à quelles fins l’IA peut être utilisée, quels risques juridiques, éthiques et opérationnels y sont liés, qui en assume la responsabilité et quelles exigences doivent être respectées en matière de transparence, de sécurité, de surveillance humaine et de contrôle.
La gouvernance des données et la gouvernance de l’IA sont donc étroitement liées. Une gouvernance des données fonctionnelle constitue une base importante pour une bonne gouvernance en matière d’IA, mais elle ne peut pas la remplacer.
Qu’est-ce qui différencie un agent IA d’un assistant IA classique?
Jusqu’à présent, il n’existe pas de définition générale de ce qu’est exactement un agent IA. Le règlement de l’UE sur l’IA, par exemple, ne contient pas non plus de définition juridique distincte. Je propose personnellement de distinguer comme suit l’assistant IA classique de l’agent IA:
Un assistant IA classique réagit généralement à des demandes concrètes et fournit par exemple une proposition de texte ou un résumé. Les étapes suivantes sont en principe déterminées par l’être humain. Cependant, de nombreux assistants disposent aujourd’hui déjà de fonctions agentiques telles que l’exécution de code ou l’accès à des applications connectées. Leur utilisation est moins restreinte et il ne faut pas sous-estimer leur importance. Un agent IA va plus loin. Il peut poursuivre un objectif prédéfini, planifier de manière autonome les étapes intermédiaires nécessaires à sa réalisation, accéder aux données et aux applications et exécuter des actions. Ce faisant, il peut déterminer sans assistance les mesures permettant d’atteindre son but et adapter sa procédure en conséquence.
«Au lieu de simplement qualifier un système d’agents ou de non-agents, je pense qu’il est plus judicieux de se demander dans quelle mesure ses capacités agentiques sont développées et quel est son degré d’autonomie.»
Anne-Sophie Morand, Data & AI Governance Counsel chez Swisscom
La frontière entre les assistants IA et les agents IA reste toutefois floue. Au lieu de simplement qualifier un système d’agents ou de non-agents, je pense qu’il est plus judicieux de se demander dans quelle mesure ses capacités agentiques sont développées et quel est son degré d’autonomie.
D’un point de vue juridique, un agent IA est-il donc également un système d’IA?
En règle générale, un agent IA répondra aux caractéristiques d’un système d’IA au sens du règlement de l’UE sur l’IA. Les exigences réglementaires applicables dépendent notamment de l’objectif concret de l’utilisation et du rôle respectif des acteur·trice·s concerné·e·s. Il est également important de noter que, malgré leur autonomie potentiellement étendue, les agents IA ne sont pas des entités juridiques indépendantes. La responsabilité juridique incombe aux personnes physiques ou morales responsables selon les prescriptions applicables.
Quels sont les risques nouveaux ou accrus générés par les agents IA?
Nous connaissons déjà de nombreux risques liés aux systèmes d’IA classiques. Dans le cas des agents IA, ils peuvent toutefois augmenter considérablement, car deux-ci peuvent non seulement générer des contenus, mais aussi déclencher des actions de manière autonome.
Un exemple simple: si un assistant IA évalue de manière erronée la demande d’un·e client·e, un·e collaborateur·trice peut détecter l’erreur avant que d’autres mesures ne soient prises. Sur la base de cette même erreur d’évaluation, un agent IA pourrait procéder à un remboursement injustifié ou modifier les données client, pour autant qu’il dispose des autorisations nécessaires.
«Malgré leur autonomie, les agents d’IA ne sont pas des entités juridiques indépendantes. La responsabilité juridique incombe aux personnes physiques ou morales.»
Anne-Sophie Morand, Data & AI Governance Counsel chez Swisscom
La situation devient particulièrement complexe lorsque les agents IA peuvent non seulement agir en autonomie, mais aussi déterminer la manière dont ils vont atteindre l’objectif défini. En effet, il n’est alors plus possible de prédire ou de prévoir à l’avance l’ensemble des mesures que prendront ces derniers. À cela s’ajoutent des risques de sécurité supplémentaires, par exemple en cas de manipulations d’informations susceptibles d’amener un agent IA à effectuer des actions indésirables, ou en raison d’un accès abusif au système.
Et comment le profil de risque évolue-t-il lorsqu’on utilise non pas un seul agent, mais un système dit multi-agents?
Dans les systèmes multi-agents, des risques supplémentaires résultent de l’interaction et des interdépendances des différents agents IA. Par exemple, un agent peut s’appuyer sur les résultats erronés d’un autre agent, ce qui peut entraîner la propagation des erreurs sur plusieurs étapes de travail et, dans le pire des cas, déclencher des réactions en chaîne. Les actions contradictoires ou les informations manipulées transmises entre les agents peuvent également poser problème. Dans le même temps, il peut être plus difficile de retracer les différentes décisions et actions.
Pour la gouvernance de l’IA, cela signifie qu’il ne suffit pas de considérer chaque agent IA de manière isolée: il faut au contraire évaluer et contrôler l’interaction entre les agents, et donc l’ensemble du système. Les entreprises doivent notamment définir les tâches et les autorisations de chaque agent, leurs modalités de communication et les informations qu’ils sont autorisés à échanger. Il est tout aussi important de définir clairement les responsabilités, d’assurer la traçabilité de l’ensemble de la chaîne d’action et de mettre en place des mécanismes de contrôle appropriés, tels que des autorisations humaines pour les actions critiques et une surveillance continue.
Livre blanc: De l’IA générative à l’IA agentique
Consultez le livre blanc «De l’IA générative à l’IA agentique» si vous souhaitez mieux comprendre le fonctionnement de l’IA agentique, connaître les aspects de sécurité, de gouvernance et de protection des données à prendre en compte et découvrir comment les entreprises peuvent planifier leur utilisation productive.
La Suisse ne dispose pas de loi sur l’IA similaire à l’AI Act européen. Pourquoi les entreprises suisses devraient-elles tout de même s’intéresser à la gouvernance de l’IA et comment la réglementation pourrait-elle évoluer à l’avenir?
Aujourd’hui déjà, les entreprises doivent se conformer à un grand nombre de législations existantes lorsqu’elles utilisent l’IA, notamment le droit de la protection des données, la protection de la vie privée et du secret, le droit des contrats et le droit de la propriété intellectuelle, ainsi que, le cas échéant, les réglementations spécifiques à certains secteurs. En outre, en raison de son effet extraterritorial, le règlement de l’UE sur l’intelligence artificielle peut également s’appliquer directement aux entreprises suisses sous certaines conditions.
Parallèlement, la Suisse travaille à sa propre réglementation de l’IA. Fin mars 2025, elle a signé la Convention du Conseil de l’Europe sur l’IA, dont la transposition dans le droit suisse est en cours de préparation par l’Office fédéral de la justice. Selon le calendrier actuel, un projet destiné à la consultation devrait être présenté au printemps 2027.
Pour en savoir plus sur les exigences réglementaires qui nous attendent, je recommande de consulter la convention du Conseil de l’Europe sur l’IA ainsi que le rapport explicatif qui l’accompagne. Cette convention formule des principes qui s’appliquent au-delà des différents secteurs. Il s’agit par exemple de la transparence et de la surveillance humaine, de la protection contre la discrimination et de la gestion des risques. De mon point de vue, cela plaide en faveur d’une réglementation générale des exigences fondamentales en matière d’IA en Suisse, qui ne serait complétée par des prescriptions sectorielles que si nécessaire.
Une gouvernance en matière d’IA établie suffisamment tôt permet aux entreprises de se préparer à l’avance aux futures exigences réglementaires. Ceux qui disposent déjà de structures de gouvernance fonctionnelles pourront les adapter de manière ciblée en fonction des nouvelles prescriptions légales, au lieu de devoir recommencer à zéro plus tard.
Swisscom applique depuis plusieurs années une approche basée sur les risques. Quelles conclusions se sont révélées particulièrement importantes dans ce contexte?
Premièrement, il est important de constater que notre approche fondée sur les risques a fait ses preuves. Entre-temps, de nombreux systèmes d’IA ont été soumis à notre processus de gouvernance. Il s’avère que plus de 95% des systèmes d’IA que nous développons ou exploitons peuvent être classés dans nos deux catégories de risques les plus basses (risque minimal et risque faible). Seule une poignée sont effectivement considérés comme des systèmes d’IA à haut risque.
Deuxièmement, le fait que nous nous soyons basés sur le règlement de l’UE sur l’IA pour la classification des risques, mais que nous l’ayons délibérément complété par nos propres critères de risque pour la catégorie à haut risque, s’est avéré particulièrement efficace. En effet, même les systèmes d’IA qui ne sont pas considérés comme étant à haut risque en vertu du règlement de l’UE sur l’IA peuvent présenter des risques considérables du point de vue de l’entreprise, par exemple pour sa réputation. Nous assumons ainsi notre responsabilité d’entreprise tout en conservant la flexibilité nécessaire pour pouvoir nous adapter aux évolutions technologiques et aux nouvelles possibilités d’utilisation.
Que recommanderiez-vous tout particulièrement aux entreprises qui souhaitent mettre en place une nouvelle gouvernance en matière d’IA ou développer une gouvernance existante?
Il existe de nombreuses recommandations pour la mise en place d’une gouvernance fonctionnelle en matière d’IA. Si je devais me limiter à trois points particulièrement importants, je citerais les suivants:
Premièrement: instaurer la transparence et clarifier les responsabilités. Les entreprises doivent d’abord savoir où et dans quel but l’IA est réellement utilisée ou développée. À cet égard, il est essentiel de définir des responsabilités claires pour chaque système d’IA et, le cas échéant, pour les modèles GPAI.
Deuxièmement: procéder en fonction des risques. Tous les systèmes d’IA ne nécessitent pas les mêmes prescriptions et contrôles. Les entreprises doivent évaluer leurs systèmes d’IA sur la base de critères clairs, en tenant compte de l’utilisation prévue et du potentiel de risque. Cela permet d’en déduire des exigences appropriées en matière de développement et d’exploitation.
Troisièmement: considérer la gouvernance de l’IA comme un processus continu. L’évolution technologique est trop dynamique pour établir des réglementations rigides. Les entreprises doivent donc adopter une approche pragmatique, utiliser les structures et processus existants et mettre en place ou développer progressivement leur gouvernance en matière d’IA. Les dernières évolutions telles que les agents IA démontrent l’importance de remettre régulièrement en question et d’adapter les directives de gouvernance et les mécanismes de contrôle existants.
En fin de compte, une bonne gouvernance en matière d’IA ne doit pas être considérée comme un obstacle bureaucratique, mais comme un facteur d’innovation. Celle-ci pose les bases nécessaires pour que les entreprises puissent profiter des opportunités offertes par l’intelligence artificielle sans perdre de vue les risques qu’elle comporte.
À propos d’Anne-Sophie Morand
Anne-Sophie Morand, LL.M., est avocate et travaille depuis 2023 en tant que Data & AI Governance Counsel chez Swisscom, où elle dirige le développement et l’implémentation de la gouvernance de l’IA à l’échelle de l’entreprise. Elle met l’accent sur la protection des données et sur l’interface entre l’IA et le droit. Auparavant, elle a notamment travaillé pour le Parlement suisse, le PFPDT et un cabinet d’affaires. À partir de février 2027, elle occupera le poste de professeure en «droit de la transformation numérique et de l’intelligence artificielle» à la ZHAW School of Management and Law.
