Intelligence artificielle fiable
L’EPFL, l’ETH Zurich et le Centre national suisse de calcul scientifique (CSCS) ont annoncé aujourd’hui la sortie d’Apertus, le premier modèle de langage de grande ampleur, multilingue et open source développé en Suisse. Il représente une étape majeure pour la transparence et la diversité dans l’intelligence artificielle générative.
En juillet dernier, l’EPFL, l’ETH Zurich et le CSCS avaient annoncé leur collaboration sur le développement d’un grand modèle de langage (LLM). Aujourd’hui, ce projet se concrétise : le premier LLM multilingue, ouvert et à grande échelle conçu en Suisse est désormais disponible et constitue une base pour les développeurs et organisations souhaitant concevoir des applications d’IA telles que des chatbots, des systèmes de traduction ou des outils pédagogiques.
Le nom Apertus, — «ouvert» en latin — reflète la spécificité du modèle: son architecture, ses poids (ou paramètres), ses données d’entraînement et sa méthodologie sont entièrement documentés et librement accessibles, ce qui le distingue de nombreux autres modèles.
Chercheuses et chercheurs en IA, professionnelles, professionnels et passionnées et passionnés peuvent à présent accéder au modèle via un partenaire de déploiement tel que Swisscom, ou le télécharger depuis Hugging Face, une plateforme dédiée aux modèles et applications d’IA, et l’intégrer dans leurs propres projets. Apertus est disponible gratuitement en deux tailles: 8 milliards et 70 milliards de paramètres, le plus petit étant plus adapté à une utilisation individuelle. Les deux modèles sont distribués sous licence Apache 2.0, une licence de logiciel libre permettant son utilisation dans l’enseignement, la recherche, ainsi que pour des applications commerciales et sociétales variées.
En tant que LLM pleinement ouvert, Apertus permet à la communauté scientifique et professionnelle d’explorer en profondeur sa conception et son fonctionnement, et de l’adapter à des besoins spécifiques. Contrairement à d’autres modèles qui ne partagent qu’une partie de leurs composants, Apertus mise sur une ouverture totale.
«Avec cette publication, nous voulons offrir un modèle de référence pour le développement d’une IA de confiance, souveraine et inclusive», déclare Martin Jaggi, professeur en apprentissage automatique à l’EPFL et membre du comité de pilotage de l’initiative Swiss AI. Le modèle sera régulièrement mis à jour par une équipe de développement composée d’ingénieures et ingénieurs spécialisés et de nombreux chercheurs et chercheuses de l’EPFL et de l’ETH Zurich.
Avec cette approche ouverte, l’EPFL, l’ETH Zurich et le CSCS s’engagent dans une nouvelle voie. «Apertus ne suit pas le schéma classique de transfert technologique de la recherche vers l’industrie. Nous le considérons plutôt comme un catalyseur d’innovation et un moyen de renforcer les compétences en IA dans la recherche, la société et l’économie», explique Thomas Schulthess, directeur du CSCS et professeur à l’ETH Zurich.
Apertus a été entraîné sur 15 000 milliards de tokens (mots ou parties de mots) issus de plus de 1000 langues. Avec environ 40% de sources non-anglophones, le modèle intègre des langues généralement peu représentées dans les LLM, comme le suisse allemand, le romanche, et bien d’autres encore.
«Apertus est conçu pour le bien commun. Il fait partie des rares LLM de cette envergure à être totalement open source, et il est le premier à intégrer, dès sa conception, des principes fondamentaux comme le multilinguisme, la transparence et la conformité réglementaire», souligne Imanol Schlag, responsable technique du projet LLM et chercheur senior à l’ETH Zurich.
«Swisscom est fier d’être parmi les premiers à déployer ce modèle de pointe sur sa plateforme souveraine d’IA suisse. En tant que partenaire stratégique de l’initiative Swiss AI, nous soutenons l’accès à Apertus lors des Swiss {ai} Weeks. Cela illustre notre engagement envers un écosystème d’IA sûr et responsable, au service de l’intérêt public et de la souveraineté numérique de la Suisse», ajoute Daniel Dobos, directeur de la recherche chez Swisscom.
Le téléchargement et la configuration du modèle sont simples pour les professionnelles et professionnels et pour les utilisateurs et utilisatrices expérimentés. Toutefois, l’utilisation pratique du modèle requiert des composants additionnels tels que des serveurs, une infrastructure cloud ou des interfaces utilisateur spécifiques. Les hackathons des prochaines Swiss {ai} Weeks offriront la première opportunité aux développeurs et développeuses d’expérimenter directement Apertus, de tester ses capacités et de fournir un retour pour améliorer ses futures versions. Swisscom mettra à disposition une interface dédiée pour les participants, facilitant l'interaction avec le modèle. Dès aujourd’hui, les clients professionnels de Swisscom peuvent accéder à Apertus via leur plateforme souveraine Swiss AI.
En outre, pour les personnes en dehors de la Suisse, la Public AI Inference Utility(ouvre une nouvelle fenêtre) rendra Apertus accessible dans le cadre d’un mouvement mondial pour une IA publique. “Apertus est actuellement le modèle d’IA publique de référence: un modèle construit par des institutions publiques, pour l’intérêt général. C’est la meilleure preuve à ce jour qu'une IA peut devenir une véritable infrastructure publique, au même titre que les routes, l’eau ou l’électricité.” déclare Joshua Tan, responsable de la Public AI Inference Utility.
La transparence est au cœur d’Apertus, garantissant la reproductibilité complète du processus d’entraînement. En complément des modèles, l’équipe de recherche publie toute une gamme de ressources: documentation complète, code source du processus d’entraînement et des ensembles de données utilisés, poids du modèle incluant des checkpoints intermédiaires — le tout sous licence Apache 2.0, qui permet aussi un usage commercial. Les conditions générales sont disponibles sur Hugging Face.
Apertus a été développé en tenant dûment compte des lois suisses sur la protection des données, des droits d’auteur, ainsi que des obligations de transparence du règlement européen sur l’IA (Loi sur l'IA de l'UE). Un soin particulier a été accordé à l’intégrité des données et au respect des normes éthiques: le corpus d’entraînement repose uniquement sur des données publiquement accessibles et a été filtré rétroactivement pour respecter les demandes d’exclusion lisibles par machine, supprimer les données personnelles et éliminer les contenus indésirables avant l’entraînement.
«Apertus démontre qu’une IA générative peut être à la fois puissante et ouverte», affirme Antoine Bosselut, directeur du Laboratoire de traitement du langage naturel à l’EPFL et co-responsable de l’Initiative Swiss AI. «Le lancement d’Apertus ne marque pas une étape finale, mais bien le début d’un engagement à long terme pour une infrastructure d’IA ouverte, de confiance et souveraine, pour le bien commun mondial. Nous avons hâte de voir les développeurs et développeuses interagir avec le modèle lors des hackathons des Swiss {ai} Weeks. Leur créativité et leurs retours nous aideront à améliorer les futures générations du modèle.»
Les prochaines versions visent à étendre la famille de modèles, à améliorer leur efficacité, et à développer des variantes spécifiques à certains domaines comme le droit, la santé ou l’éducation. Elles intégreront aussi des capacités de recherche d’informations, permettant l’accès à des données actualisées tout en garantissant la transparence et le respect des normes réglementaires.
Apertus a été développé dans le cadre de l’Initiative Swiss AI(ouvre une nouvelle fenêtre), menée par l’EPFL et l’ETH Zurich. Il résulte d’un effort collaboratif réunissant chercheurs, ingénieurs et étudiants de toute la Suisse, avec le soutien technique du Centre national suisse de calcul scientifique (CSCS) qui dispose d’une infrastructure de premier plan en matière de puissance de calcul. Cette expertise collective, issue de plusieurs institutions et disciplines, a rendu le développement d’Apertus possible.
Le développement de ce modèle linguistique de grande ampleur, ainsi que la recherche sur les modèles de fondation spécifiques à certains domaines, est financé par le Conseil des EPF, l’organe de direction stratégique du Domaine des EPF (comprenant l’ETH Zurich, l’EPFL, le WSL, le PSI, l’Empa et l’Eawag). Ce financement est complété par la contribution de partenaires stratégiques, notamment Swisscom, premier fournisseur de télécommunications de Suisse.
Swiss {ai} Weeks(ouvre une nouvelle fenêtre) is a collaborative initiative to turn Switzerland’s groundbreaking AI research into societal and economic impact. Through hackathons, expert events, public engagement, and startup incubation, it connects researchers, developers, entrepreneurs, and citizens around a shared goal: shaping ethical, open, and trustworthy use of AI. At the heart of the effort is Switzerland’s first open-source Large Language Model – developed with Swiss values in mind: transparency, responsibility and multilinguality. Swiss {ai} Weeks activates a collective push for responsible AI application – decentralised, hands-on, and built for the common good. The initiators of the initiative include EPFL AI Center, ETH AI Center, Swisscom, Impact Hub Switzerland, Kickstart Innovation, Panter, and Wildcard Media.
Un grand modèle de langage conçu pour le bien public | EPFL(ouvre une nouvelle fenêtre)
IA digne de confiance, fiable et prévisible | ETH Zurich(ouvre une nouvelle fenêtre)
La Suisse et l’IA: petite mais costaude(ouvre une nouvelle fenêtre)
Swisscom s’engage en faveur d’une IA digne de confiance | Swisscom(ouvre une nouvelle fenêtre)