Agents au bord du gouffre: l’IA autonome, nouvelle surface d’attaque dans la cybersécurité

OpenClaw a été en grande partie développée avec et par l’IA. Les possibilités offertes par l’IA générative, comme le «vibe coding», n’ont pas échappé aux cybercriminels. L’IA ne simplifie pas seulement la rédaction d’e-mails de phishing d’un réalisme trompeur dans différentes langues – et sans fautes d’orthographe. Avec «VoidLink», des chercheurs en sécurité ont également découvert un malware Linux en circulation, probablement largement conçu à l’aide de l’IA. Il ne s’agit pas pour autant de l’émergence de nouveaux groupes criminels grâce à l’IA. Ce sont plutôt les acteurs existants qui utilisent ces outils pour «mettre à niveau» leurs compétences: VoidLink présente des caractéristiques que l’on ne trouvait jusqu’à présent que dans les logiciels malveillants de collectifs bien équipés comme les groupes APT. 

Cela signifie que les attaques émanant des cybercriminels «ordinaires» deviennent elles aussi plus sophistiquées. «L’IA permet aux assaillants de développer des ‹exploits› pour des systèmes qu’ils ne connaissent même pas», explique Collin Geisser, Lead Security Architect chez Swisscom. «Cela augmente la surface d’attaque potentielle.»

Les formes de fraude deviennent elles aussi plus sophistiquées, «grâce» aux deepfakes. Les enregistrements audio avec des voix falsifiées ou des vidéos générées par IA rendent l’ingénierie sociale ou la fraude au CEO particulièrement crédibles. En Suisse, un cas a été révélé en janvier: des criminels inconnus se sont fait passer, en utilisant le voice cloning par téléphone, pour des partenaires commerciaux connus et ont réussi à convaincre l’entrepreneur concerné d’effectuer un paiement de plusieurs millions de francs.

Au-delà de la fraude, ce sont tous les processus reposant sur la reconnaissance vocale ou faciale pour l’identification qui pourraient être contournés par l’IA. La détection des deepfakes compte sans aucun doute parmi les tâches les plus exigeantes de la cyberdéfense et nécessite une combinaison de mesures techniques et de sensibilisation à la sécurité pour renforcer la vigilance des collaborateurs.

Avec l’IA, les cyberattaques ne deviennent pas seulement plus sophistiquées, elles sont aussi plus rapides. L’exploitation des failles de sécurité et la mise en œuvre d’attaques automatisées réduisent la fenêtre de détection et de réaction. Mais la Threat Detection and Response (TDR) peut pour ainsi dire battre les cybercriminels à leur propre jeu. En effet, l’IA peut également rendre de grands services dans la détection des attaques. C’est le cas par exemple pour identifier des schémas d’attaque dans de grands volumes de données log, reconstruire des chronologies d’événements ou analyser des logiciels malveillants – en quelque sorte le «vibe decoding».

Les compétences des analystes SOC évoluent également. L’IA peut aider les profils moins expérimentés à analyser des menaces complexes. Et transformer un rapport technique en une synthèse compréhensible pour les managers est une tâche plutôt simple pour l’IA. L’IA peut aussi assister les spécialistes lors des Penetration Tests ou des tests de sécurité des applications, explique Collin Geisser: «Des tâches comme le fuzzing peuvent être automatisées grâce à l’IA, ce qui permet de réduire la charge de travail et les coûts liés à ces tests».

D’une manière générale, l’IA modifie le rôle des spécialistes. Les tâches fastidieuses et minutieuses disparaissent progressivement, laissant place à des analystes qui orchestrent des processus automatisés. Il ne s’agit pas de remplacer les êtres humains, mais de les soulager. Ils peuvent ainsi se concentrer davantage sur les tâches qui requièrent une expertise humaine. C’est le cas par exemple de la classification des incidents et de la mise en œuvre des mesures appropriées pour l’Incident Response. Le principe clé de l’utilisation de l’IA dans un SOC est le «human in the loop»: l’IA automatise, l’humain contrôle et décide.

De nombreux risques de sécurité liés aux systèmes d’IA ne proviennent pas de vulnérabilités isolées, mais de choix architecturaux, souligne Collin Geisser: «L’IA élargit la surface d’attaque, car les attaques peuvent aussi commencer par une injection de prompt. C’est particulièrement critique pour les agents IA, qui disposent souvent de droits étendus».

Lorsque la sécurité n’est prise en compte qu’a posteriori, il est souvent impossible de corriger de manière satisfaisante des questions essentielles comme les identités, les autorisations ou les flux de données. Dans le cas des agents autonomes, la sécurité se joue donc dès la phase de conception.

Pour évaluer la sécurité des systèmes d’IA, de nouvelles méthodes de test sont nécessaires. En effet, contrairement aux applications classiques, ce ne sont pas les failles de sécurité qui sont au centre des préoccupations, mais l’exfiltration de données et le fonctionnement des garde-fous destinés à empêcher les réponses inappropriées.

Un Penetration Test ou un Red Teaming doit donc être étendu avec des tâches supplémentaires comme les suivantes:

• Tests d’injection de prompt
• Simulation d’attaques par inversion de modèle: les assaillants tentent ici de déduire la configuration du modèle utilisé à partir de ses réponses, ou d’exfiltrer les données d’entraînement
• Tests d’exfiltration de données
• Exercices de type tabletop spécifiques à l’IA

Les agents IA autonomesmarquent un tournant dans la cybersécurité: pour la première fois, des systèmes agissent de manière autonome dans des environnements IT, prennent des décisions et accèdent à des ressources. Pour les responsables IT et sécurité, cela signifie que la sécurité ne doit pas nécessairement freiner toute innovation, mais qu’elle doit être prise en compte dès le départ. En définissant des lignes directrices claires, on crée un cadre propice à une utilisation productive de l’IA, sans perdre le contrôle.