Intelligenza artificiale affidabile
L'EPFL, l'ETH di Zurigo e il Centro Svizzero di Calcolo Scientifico (CSCS) pubblicano oggi Apertus, il primo modello linguistico multilingue aperto realizzato su larga scala della Svizzera: una pietra miliare nell'intelligenza artificiale generativa per trasparenza e diversità.
A luglio, l'EPFL, l'ETH di Zurigo e il CSCS hanno annunciato la loro iniziativa congiunta per la creazione di un modello linguistico su larga scala (LLM). Ora questo modello è disponibile e funge da base per sviluppatori e organizzazioni interessati ad elaborare applicazioni future quali chatbot, sistemi di traduzione o strumenti didattici.
Il modello è stato chiamato Apertus, dal termine latino che significa «aperto», per sottolinearne la caratteristica distintiva: l'intero processo di sviluppo – compresi l'architettura, i pesi del modello, i dati di addestramento e le ricette – è accessibile a tutti e documentato in modo completo ed esaustivo.
I ricercatori, i professionisti e gli appassionati esperti di IA possono accedere al modello dal partner strategico Swisscom oppure possono scaricarlo da Hugging Face, una piattaforma per modelli e applicazioni di IA, e implementarlo nei loro progetti. Apertus è disponibile gratuitamente in due versioni: con 8 miliardi e 70 miliardi di parametri: il modello più piccolo è più adatto per uso personale. Entrambi i modelli sono pubblicati con una licenza permissiva open source, che ne consente l'uso nell'ambito dell'istruzione e della ricerca, nonché in ampie applicazioni sociali e commerciali.
Essendo un modello linguistico completamente open source, Apertus consente a ricercatori, professionisti ed entusiasti sia di costruire e sviluppare ulteriormente su questo modello, adattandolo alle loro esigenze specifiche sia di esplorare qualunque parte del processo di addestramento. Tutto ciò rende Apertus completamente diverso dai modelli che permettono l’accesso solo a componenti selezionate.
«Il nostro fine con la pubblicazione di questa prima versione è quello di offrire un modello di riferimento per lo sviluppo di un'IA affidabile, sovrana e inclusiva», afferma Martin Jaggi, professore di Machine Learning all'EPFL e membro del comitato direttivo dell'Iniziativa svizzera per l'IA. Il modello sarà aggiornato regolarmente dal gruppo responsabile dello sviluppo, che comprende ingegneri specializzati e un gran numero di ricercatori del CSCS, del Politecnico federale di Zurigo e dell'EPFL.
Con il loro approccio aperto, l'EPFL, l'ETH di Zurigo e il CSCS si avventurano in un territorio inesplorato. «Apertus non è un caso convenzionale di trasferimento tecnologico dalla ricerca al prodotto. Lo consideriamo piuttosto un motore di innovazione e un mezzo per rafforzare le competenze in materia di IA nella ricerca, nella società e nell'industria», afferma Thomas Schulthess, direttore del CSCS e professore all'ETH di Zurigo. In linea con la loro tradizione, l'EPFL, l'ETH di Zurigo e il CSCS forniscono sia la tecnologia di base che le infrastrutture necessarie per promuovere l'innovazione in tutti i settori dell'economia.
Addestrato su 15 trilioni di token in oltre 1.000 lingue, con il 40% dei dati non in inglese, Apertus include in modo unico molte lingue che finora sono state sottorappresentate nei modelli LLM, come il tedesco svizzero, il romancio e molte altre.
“Apertus è stato creato per il bene pubblico. È uno dei pochi LLM su questa scala completamente aperto ed è il primo del suo genere a incarnare il multilinguismo, la trasparenza e la conformità come principi fondamentali di progettazione”, afferma Imanol Schlag, responsabile tecnico del progetto LLM e ricercatore scientifico presso l'ETH di Zurigo.
“Swisscom è orgogliosa di supportare l'implementazione di questo modello linguistico pionieristico sulla nostra piattaforma IA svizzera sovrana. Come partner strategico dell’Iniziativa svizzera sull’IA, sosteniamo l 'accesso di Apertus durante le Swiss {ai} Weeks, sottolineando il nostro impegno a creare un ecosistema di IA sicuro e responsabile che serva l'interesse pubblico e rafforzi la sovranità digitale della Svizzera”, commenta Daniel Dobos, direttore della ricerca presso Swisscom.
Sebbene la configurazione di Apertus sia semplice per i professionisti e gli utenti esperti, per un utilizzo pratico sono necessari componenti aggiuntive quali server, infrastruttura cloud o interfacce utente specifiche. I prossimi hackathon della Swiss {ai} Weeks saranno la prima occasione per sviluppatori di sperimentare Apertus in prima persona, testarne le capacità e fornire feedback per migliorare le versioni future.
Swisscom fornirà un'interfaccia dedicata ai partecipanti all'hackathon, facilitando l'interazione con il modello. A partire da oggi, i clienti business di Swisscom potranno accedere al modello Apertus tramite la Swiss AI platform sovrana di Swisscom.
Inoltre, per le coloro che vivono al di fuori della Svizzera, la Public AI Inference Utility(apre una nuova finestra) renderà Apertus accessibile nell'ambito di un movimento globale per una IA pubblica. “Attualmente, Apertus è il modello di IA pubblica leader: un modello costruito da istituzioni pubbliche, per l'interesse pubblico. È la nostra migliore prova finora che l'IA può essere una forma di infrastruttura pubblica come le autostrade, l'acqua o l'elettricità”, afferma Joshua Tan, Lead Maintainer della Public AI Inference Utility.
Apertus è stato realizzato all’insegna della trasparenza come valore fondamentale, garantendo così la completa riproducibilità del processo di addestramento. Oltre ai modelli, il gruppo di ricerca ha pubblicato una serie di informazioni aggiuntive: una documentazione esaustiva, il codice sorgente del processo di addestramento e dei set di dati utilizzati, dei pesi del modello incluso i controlli intermedi, il tutto pubblicato con licenza permissiva open source, che ne consente anche l'uso commerciale. I termini e le condizioni sono disponibili via Hugging Face.
Apertus è stato sviluppato nel rispetto delle leggi svizzere sulla protezione dei dati, delle leggi svizzere sul diritto d'autore e degli obblighi di trasparenza previsti dalla legge dell'UE sull'IA (EU AI Act). Particolare attenzione è stata prestata all'integrità dei dati e agli standard etici: il corpus di addestramento si basa esclusivamente su dati disponibili pubblicamente, ed è dotato di filtri per rispettare le richieste di opt-out leggibili dalle macchine da parte dei siti web, anche retroattivamente, e per rimuovere i dati personali e altri contenuti indesiderati prima dell'inizio dell'addestramento.
“Apertus dimostra che l'IA generativa può essere allo stesso tempo potente e aperta”, afferma Antoine Bosselut, responsabile del Laboratorio di elaborazione del linguaggio naturale dell'EPFL e co-responsabile dell'iniziativa svizzera sull'IA. “Il lancio di Apertus non è un passo conclusivo, piuttosto l'inizio di un viaggio, di un impegno a lungo termine di creare le fondamenta di una IA aperta, affidabile e sovrana per il bene pubblico a livello mondiale”.
Le versioni future mireranno ad ampliare la famiglia dei modelli, migliorarne l'efficienza ed esplorare la possibilità di ulteriori sviluppi e adattamenti per settori specifici quali il diritto, la sanità e l'istruzione. Si prevede inoltre l’integrazione di ulteriori funzionalità, pur mantenendo solidi standard per garantirne la trasparenza.
Apertus è stato sviluppato nell'ambito dell'Iniziativa svizzera per l'IA(apre una nuova finestra), guidata dall'EPFL e dall'ETH di Zurigo, è il risultato di uno sforzo collaborativo che ha riunito ricercatori, ingegneri e studenti di tutta la Svizzera, insieme agli ingegneri e alle infrastrutture del Centro Svizzero di Calcolo Scientifico (CSCS). È grazie a questa competenza collettiva, che abbraccia diverse istituzioni e discipline, che è stato possibile realizzare lo sviluppo di Apertus.
Lo sviluppo del modello linguistico di grandi dimensioni e la ricerca su ulteriori modelli di base per domini specifici sono finanziati da un investimento di oltre 10 milioni di ore di GPU su “Alps” da parte del CSCS e dal Consiglio dei PF, l'organo di gestione strategica e di vigilanza del settore dei PF (che comprende l'ETH di Zurigo, l'EPFL, il WSL, il PSI, l'Empa e l'Eawag). Tale finanziamento è integrato dai contributi di partner strategici, in particolare Swisscom, il più grande fornitore di telecomunicazioni della Svizzera.
La Swiss {ai} Weeks(apre una nuova finestra) è un'iniziativa collaborativa volta a trasformare la ricerca pionieristica della Svizzera nel campo dell'intelligenza artificiale in un impatto sociale ed economico. Attraverso hackathon, eventi con esperti, coinvolgimento del pubblico e incubazione di startup, questa settimana metterà in contatto ricercatori, sviluppatori, imprenditori e cittadini attorno a un obiettivo comune: plasmare un uso etico, aperto e affidabile dell'IA. Al centro dell'iniziativa c'è il primo modello linguistico open source della Svizzera, sviluppato tenendo conto dei valori svizzeri: trasparenza, responsabilità e multilinguismo. Swiss {ai} Weeks attiva una spinta collettiva verso un'applicazione responsabile dell'IA: decentralizzata, pratica e costruita per il bene comune. Tra i promotori dell'iniziativa figurano l'EPFL AI Center, l'ETH AI Center, Swisscom, Impact Hub Switzerland, Kickstart Innovation, Panter e Wildcard Media.
Un modello linguistico al servizio della società(apre una nuova finestra)
IA affidabile - affidabile e prevedibile(apre una nuova finestra)
Switzerland and AI: tiny but mighty - EPFL(apre una nuova finestra)
Swisscom si impegna per uno sviluppo affidabile dell’AI in Svizzera(apre una nuova finestra)