Aprire la “black box” dell’AI agentica

Ora, la nuova “AI agentica”, o “agenti AI”, ovvero sistemi progettati per un’autonomia orientata al raggiungimento di obiettivi, promette di affrontare compiti complessi con una supervisione umana minima e di trasformare il modo in cui vengono concepiti software e automazione. [1],[2],[3],[4],[5]

Sebbene l’entusiasmo attorno a un’AI pienamente autonoma sia forte, la realtà è mitigata da limiti tecnici, problemi di qualità dei dati ed esigenze di conformità. La tensione centrale consiste nel bilanciare il valore dell’autonomia—delegando compiti complessi e ottenendo risultati su larga scala—con i rischi intrinseci di un processo decisionale “black box”. La natura probabilistica degli LLM implica che gli output possano essere imprevedibili o errati, rendendo necessarie robuste misure di controllo (guardrail). [6]

Sicurezza, privacy e quadri normativi come revDSG, GDPR e l’EU AI Act richiedono inoltre supervisione umana e tracciabilità, soprattutto nei settori critici. [7],[8],[9] Il vero valore dell’AI agentica, quindi, emerge quando è ancorata a flussi di lavoro controllati e alla supervisione umana. Abbiamo esplorato promesse e sfide dell’AI agentica in un Proof of Concept (PoC) che ha coinvolto un team congiunto di Swisscom Data & AI Consulting e ingegneri di Noumena Digital(apre una nuova finestra).

I sistemi di AI agentica rappresentano un passaggio da modelli di AI reattivi a sistemi proattivi, capaci di flussi di lavoro multi-step e di prendere decisioni per raggiungere obiettivi. Questi programmi autonomi basati su LLM percepiscono il loro ambiente, pianificano, invocanostrumenti ad es. tramite API e server Model Context Protocol (MCP), e interagiscono concontesti digitali e con altri agenti, utilizzando ad es. implementazioni Agent-to-Agent (A2A). [10]

L’AI agentica opera secondo un ciclo iterativo continuo, descritto come un loop Percezione–Ragionamento–Azione–Feedback o, in modo analogo, un ciclo Pensiero–Azione–Osservazione: [1],[10],[11],[12],[26]

1. Percezione (Osservazione): il sistema acquisisce e interpreta dati eterogenei, strutturati (database, API) e non strutturati (immagini, e-mail).

2. Ragionamento (Pensiero): gli LLM o i modelli multimodali determinano la migliore azione successiva sulla base dei dati interpretati e dell’obiettivo complessivo, selezionando tra gli strumenti disponibili.

3. Azione: l’agente esegue l’azione scelta, ad esempio chiamando un’API esterna o un server MCP, nel rispetto di guardrail predefiniti.

4. Feedback (Osservazione): l’esito dell’azione viene restituito al sistema, informando il successivo passaggio di ragionamento o un adeguamento del piano.

Gli esseri umani possono essere integrati in qualsiasi fase per fornire guida o approvazione (“human-in-the-loop”). Gli agenti sono concepiti come collocati lungo uno spettro diautonomia: da singole chiamate a un LLM all’interno di flussi di lavoro codificati da esseri umani fino a sistemi altamente autonomi che scelgono dinamicamente le proprie azioni. [4]

L’AI agentica offre diversi benefici, ma introduce anche rischi significativi che le aziende devono prevenire. Di seguito, una lista di casi d’uso di successo:

• Assicurazioni – Gestione sinistri più rapida: l’AI agentica ottimizza l’intero ciclo di vita del sinistro, dall’invio iniziale alla liquidazione, utilizzando NLP e riconoscimento delleimmagini per valutare autonomamente le richieste, individuare frodi e automatizzare lacomunicazione, portando a risoluzioni più rapide e (potenzialmente) più accurate. [13],[14],[15], [16]
• Manifattura – Manutenzione predittiva e digital twin: gli agenti AI analizzano i dati dei macchinari (ad es. provenienti da sensori IoT) per prevedere guasti e attivare manutenzioni proattive. [17],[18] Una collaborazione tra KION Group, Accenture e NVIDIA utilizza i digital twin per simulare e ottimizzare le operazioni di magazzino, dove agenti autonomi virtualigestiscono merci e percorsi. [19],[20] Startup svizzere come www.ethon.ai o www.cerrion.com usano agenti AI per fornire insight di processo agli operatori e/o attivare ulteriori flussi dilavoro quando vengono rilevati problemi.
• Settore pubblico – Automazione dei workflow: la suite di AI “Humphrey” del governo del Regno Unito automatizza attività amministrative come la trascrizione di riunioni e l’analisi delle consultazioni pubbliche, con l’obiettivo di liberare tempo ai funzionari per attivitàstrategiche. [21],[22]

Tuttavia, l’AI presenta anche casi di fallimento rilevanti. In un caso molto pubblicizzato nel 2024, un chatbot di Air Canada ha fornito informazioni errate sulle politiche tariffarie per il lutto. La compagnia è stata ritenuta responsabile, a dimostrazione del fatto che le imprese possono essere chiamate a rispondere degli errori commessi dai loro sistemi di AI. [23],[24]

Per il PoC abbiamo utilizzato lo stack tecnologico di Noumena, che enfatizza sicurezza di livello enterprise, controllo degli accessi granulare, audit trail e orchestrazione con permessi. Per metterlo alla prova, Swisscom e Noumena hanno collaborato in un progetto proof-of-concept (PoC) per esplorare un’AI agentica sicura nell’elaborazione dei sinistri assicurativi.

Tradizionalmente, i sinistri vengono classificati, revisionati e poi “aggiustati” (adjusted). La classificazione indirizza la richiesta al reparto corretto. La revisione valuta completezza, affidabilità e validità delle informazioni, determinando ammissibilità e indennizzo. I sinistri negati richiedono spiegazioni chiare. Un perito/adjustor specifico del reparto ricontrolla le revisioni per qualità ed equità.

L’AI può automatizzare classificazione e revisione. In questo PoC, un LLM ha classificato i sinistri e ha fornito accesso a revisori LLM specifici per reparto. Per garantire supervisione umana, l’adjustor rimane in genere una persona. Tuttavia, per illustrare l’implementazione flessibile delle policy, il PoC includeva una regola che consentiva alle raccomandazioni delrevisore, per importi ridotti, di bypassare l’aggiustamento umano. Il PoC si è concentrato su: integrare i servizi in modo fluido, orchestrare interazioni tra AI e umani lungo workflowtracciabili, limitare l’accesso ai dati (che l’agente sia AI o umano) secondo il principio del “need-to-know”, e implementare policy trasparenti di delega all’AI.

Flusso di elaborazione dei sinistri assicurativi come implementato nel PoC. L’elaborazione dei sinistri (salute, auto, casa) ha utilizzato l’AI per la classificazione e la revisione specifica per reparto, sfruttando Claude Sonnet tramite AWS Bedrock. Gli adjustor umani hanno gestito le decisioni finali.

Questo PoC ha dimostrato l’applicazione pratica dell’AI agentica nell’automazione di compiti complessi, in particolare in:

• Ragionamento: i servizi basati su LLM hanno sostituito con successo la classificazione e la revisione umane, fornendo risposte accurate utilizzando dati di sinistro e di polizza.
• Automazione di processo: i servizi AI hanno abilitato un’automazione completa, con intervento umano solo nei percorsi esplicitamente richiesti.

Il PoC ha inoltre validato l’efficacia dell’approccio tecnologico di Noumena nell’affrontare alcune sfide chiave dell’AI agentica in ambito enterprise:

• Controllo degli accessi: gli agenti AI richiedono permessi “context-aware”. Il modello di accesso Noumena ha fornito un framework per orchestrare agenti AI con garanzie di sicurezza, combinando un linguaggio dichiarativo per le policy con attributi a runtime per assicurare privacy dei dati e accesso granulare, tempestivo e “need-to-know”.
  
• Auditabilità: le aziende devono applicare la minimizzazione dei dati, garantendo che gli agenti accedano solo alle informazioni necessarie per compiti specifici. La conformità al GDPR richiede controlli rigorosi su cancellazione e localizzazione dei dati. È necessaria tracciabilità per ogni azione compiuta da un agente AI. La soluzione ha assicurato tracciabilità completa registrando tutte le azioni e decisioni degli agenti AI, fondamentale per conformità e accountability.
  
• Accountability e sviluppo di policy di delega flessibili: gli agenti AI necessitano di accesso temporaneo, legato al processo, con non ripudio (azioni registrate etracciabili). Le organizzazioni richiedono audit trail chiari delle decisioni degli agenti. Noumena Access fornisce accesso dinamico e garantisce il non ripudio tramite un audit trail che collega le azioni agli utenti autorizzati. Il PoC ha abilitato workflow-as- code flessibili per la delega a servizi AI e per la supervisione umana (ad es. soglie diimporto del sinistro).

Nel complesso, il PoC ha mostrato con successo il potenziale dell’AI agentica nel rimodellare i processi aziendali grazie a guadagni di efficienza. Ha inoltre dimostrato la capacità dellatecnologia di Noumena di abilitare sistemi di AI agentica sicuri e auditabili, fornendo guardrail di esecuzione.

Oltre alle scelte tecnologiche, i progetti di AI agentica devono seguire una strategia ben ponderata per garantire il successo. Un approccio strategico e graduale, che integri lamitigazione dei rischi, è cruciale per il deployment dell’AI agentica. Alcuni principi guida per implementare PoC e rilasci di AI agentica:

• Caso d’uso giusto: iniziare con attività interne essenziali, a rischio basso o moderato.
  
• Confini chiari: limitare rigorosamente, all’inizio, capacità e spazio d’azione degli agenti. Fare leva sulla strategia human-in-the-loop.
  
• Misurare e registrare: definire metriche di successo e registrare tutte le attività degli agenti per audit e conformità. [6]
  

Inoltre, è importante seguire un approccio di rollout per fasi:

1. Pilot controllato e deployment beta: ambito limitato, forte supervisione, conl’obiettivo di validare le funzionalità core. Con una produzione limitata e una base utenti ristretta, testare scalabilità e performance nel mondo reale.

2. Adozione ampia: rollout più esteso, espansione incrementale delle responsabilità, integrazione formale nei processi di business con adeguata governance.

3. Miglioramento e manutenzione continui: aggiornamenti costanti dei modelli, revisioni delle performance e adattamento a nuove regole o nuovi dati.

Trasparenza verso gli stakeholder e sviluppo della prontezza culturale sono cruciali lungo tutto il percorso. [25]

L’AI agentica segna una nuova frontiera dell’automazione e dell’intelligenza. Per realizzarne la promessa, le aziende devono “aprire” la black box. Questo rende i sistemi auditabili,comprensibili e controllabili tramite supervisione e vincoli, come esplorato nel PoC descritto sopra.

Il pragmatismo è fondamentale. Le organizzazioni dovrebbero sperimentare con coraggio ma governare in modo responsabile. Dovrebbero investire in competenze umane e in strumenti di trasparenza. L’AI va considerata un assistente potente; tuttavia, i suoi output dovrebberoessere messi in discussione e verificati, soprattutto in scenari ad alto rischio. Decisori politici e gruppi industriali devono sviluppare standard e framework di audit. Questi potrebbero essere simili a quelli della finanza o dell’ingegneria della sicurezza, per garantire un’innovazioneresponsabile. [7]

Auditabilità e controllo abiliteranno l’innovazione, anziché soffocarla. Agenti affidabili, trasparenti e controllabili verranno adottati in modo più ampio e con maggiore ambizione. Per “agency pragmatica” si intende costruire agenti il più autonomi possibile all’interno di guardrail ben compresi, illuminandone continuamente il funzionamento interno e mantenendo unapproccio human-in-command. Questo percorso richiede rigore. Ma trasformando la “black box” dell’AI in una “glass box”, possiamo sfruttarne la potenza per un futuro di collaborazione uomo–AI efficace.

Autori:

• Pierre Lugan, Head of Product (Noumena Digital AG)
  LinkedIn(apre una nuova finestra)
• Tim Giger, Principal Consultant, CTO Data & AI Consulting (Swisscom)
  LinkedIn(apre una nuova finestra)
• Severin Husmann, Senior Consultant Data & AI (Swisscom)
  LinkedIn(apre una nuova finestra)