La capacità di generare plausibilità non coincide con la capacità di decidere. SAS sposta il baricentro su qualità dei dati, ripetibilità e responsabilità. La domanda giusta non è cosa può fare un agente, ma quanto sia tollerabile l’errore nei contesti critici
Più gli agenti AI promettono di agire da soli, più cresce la domanda di trasparenza, responsabilità e verificabilità. Bisogna partire da questa considerazione per circoscrivere il contesto nel quale si muove l’attuale dibattito sull’AI agentica. Non stiamo parlando più di semplici chatbot, copiloti o assistenti per così dire “intelligenti”, ma di sistemi capaci di osservare l’ambiente, interpretarlo e decidere quale azione intraprendere. Secondo tutti i grandi player AI, ci troviamo all’inizio della nuova frontiera dell’automazione.
In occasione della tappa di Milano dell’annuale SAS Innovate Tour, Bryan Harris, chief technology officer di SAS, affronta il tema, esprimendo una posizione quasi eretica che prende le distanze dall’attuale clima generalizzato e acritico di entusiasmo: «Gli agenti AI sono promettenti, ma non ancora abbastanza affidabili da sostituire i sistemi decisionali che governano banche, assicurazioni, pubbliche amministrazioni e ospedali». Un monito che merita attenzione perché arriva da una società che da esattamente cinquant’anni opera nel cuore dei sistemi di analisi, rischio e decision intelligence, utilizzati da alcune delle più grandi organizzazioni del mondo.
Il problema non è l’AI. Sono i dati
I principali ostacoli che impediscono alle aziende di portare l’AI generativa in produzione sono la qualità dei dati e la capacità di costruire il contesto corretto perché gli agenti AI operino in modo coerente con il livello di rischio delle decisioni. «Se un’azienda ha trascurato i propri dati per anni, l’AI non risolve nessun problema, al contrario, finisce per amplificarli» – spiega Harris. «La questione non è la tecnologia in sé, ma il contesto in cui viene applicata. Governance, qualità delle informazioni e controllo dei rischi sono prerequisiti essenziali per costruire sistemi affidabili». Una constatazione controcorrente rispetto a quelle strategie aziendali dalle quali troppi progetti AI emanano, ancora concepiti come “scorciatoie” tecnologiche capaci di compensare debolezze organizzative accumulate nel tempo.
Il grande equivoco dell’AI agentica
A riprova di ciò – sottolinea Harris – c’è la confusione tra automazione e agentic AI. «Molti vendor usano l’etichetta “AI agentica” per descrivere attività che non richiedono affatto agenti intelligenti, ma semplicemente una buona automazione tradizionale. Se un processo segue regole chiare e ripetitive, non serve un agente AI autonomo. Bastano software gestionali e strumenti di orchestrazione che esistono da anni». Un passaggio ancora da completare per molte organizzazioni, convinte di poterlo eludere, saltando direttamente sul carro dell’AI agentica. E naturalmente, sull’onda della tendenza ad etichettare come “agentici” sistemi che in realtà sono semplici workflow automatizzati, accompagnati da una nuova narrativa di marketing. Alimentando il rischio di creare aspettative che la tecnologia non è ancora in grado di mantenere.
Dove SAS si scontra con la narrativa mainstream
Da un lato ci sono aziende che condividono il presupposto secondo cui l’autonomia degli agenti AI crescerà progressivamente. Dall’altro lato c’è SAS, che parte invece da una prospettiva differente. SAS non si accontenta di chiedere fino a che punto un agente AI possa spingersi nell’automazione, ma valuta in che misura sia tollerabile l’errore. «È evidente che non si può utilizzare in produzione un agente con un tasso di errore che oscilla tra il 10% e il 30% per gestire processi critici.
Un chatbot può sbagliare una risposta. Ma un sistema di credito che fallisce anche solo il 10% delle decisioni può produrre danni economici, normativi e reputazionali significativi».
Nel settore bancario – continua Harris – le decisioni impattano la concessione del credito, la determinazione dei tassi, la gestione delle esposizioni, la prevenzione delle frodi, la valutazione del rischio e la conformità normativa. «Le decisioni di concedere a un cliente un fido o una carta di credito devono essere prese in meno di 30 millisecondi. Non puoi farlo con un agente basato su un Large Language Model» – afferma il CTO di SAS. «Quando è necessaria la ripetibilità, non permettiamo agli LLM di prendere una decisione.
La loro potenza è data dalla capacità di generare nuove combinazioni di informazioni. Ma proprio questa capacità introduce variabilità. Nei contesti regolamentati, invece, il requisito fondamentale è la prevedibilità. L’obiettivo è replicare correttamente una decisione migliaia o milioni di volte». E oggi, gli agenti AI attualmente disponibili possono presentare tassi di errore incompatibili con i requisiti di precisione richiesti dai processi di concessione del credito. Sebbene non esistano benchmark pubblici specifici sul credit scoring agentico, la letteratura sugli agenti LLM evidenzia ancora significativi problemi di affidabilità e robustezza in workflow complessi e multi-step. L’AI generativa si basa su modelli probabilistici capaci di creare nuovi contenuti sulla base delle informazioni apprese. I sistemi di machine learning tradizionali e i modelli statistici, soprattutto nei contesti decisionali, sono invece progettati per garantire maggiore controllo, ripetibilità e prevedibilità dell’output. La combinazione di questi approcci consente di integrare capacità generative e affidabilità operativa. Per questo SAS punta su architetture ibride che uniscono machine learning discriminativo, modelli statistici inferenziali e modelli generativi autoregressivi.
La trasparenza non è un optional
Altro elemento centrale della filosofia SAS, applicata a quello che chiamiamo comunemente AI, è il rapporto tra performance e trasparenza delle decisioni prese dalle piattaforme. «Nei contesti decisionali ad alto rischio non siamo disposti a sacrificare spiegabilità e trasparenza in ragione della mera performance» – afferma senza esitazioni Harris. «Una posizione in linea con la direzione espressa dall’Europa con l’AI Act, che impone requisiti stringenti di spiegabilità, supervisione umana e governance per i sistemi classificati come ad alto rischio». Su questo punto, il problema principale – come osserva Reggie Townsend, vice president AI Ethics, Governance & Social Impact di SAS – non è costruire regole dopo aver sviluppato i sistemi, ma di incorporarle fin dalla fase di progettazione. «I principi di Responsible AI devono essere embedded nei flussi di lavoro delle persone, non aggiunti successivamente. Gran parte dei fallimenti deriva proprio dal fatto che la governance viene trattata come un’attività separata. Se invece la integriamo by design, diventa semplicemente parte del modo in cui lavoriamo».
In questa prospettiva – etica, trasparenza e accountability non sono considerati vincoli di compliance, ma componenti strutturali del processo di sviluppo.
Townsend riconosce apertamente che l’UE assume una posizione proattiva rispetto agli USA. «Sosteniamo l’approccio europeo, ma la vera sfida è l’applicazione delle norme e la capacità di anticipare ciò che ancora non esiste. L’innovazione tecnologica – l’AI in particolare – si muove a una velocità superiore a quella con cui i governi sono in grado di legiferare». Sia la fiducia cieca nell’autoregolamentazione sia l’idea che ogni rischio possa essere risolto da nuove leggi possono essere fuorvianti.
«Abbiamo la responsabilità di garantire che ciò che vendiamo non danneggi le persone. Al tempo stesso – completa il ragionamento – dobbiamo inevitabilmente autoregolarci in una certa misura. Ma, almeno negli USA, questa non è certo una novità».
L’elemento umano resta decisivo
Nel dibattito dominato dalla sostituzione del lavoro umano per effetto dell’AI, Harris propone una visione sorprendentemente diversa. «Sarebbe del tutto auspicabile che le aziende smettessero di licenziare, abbagliate dalle possibilità dell’AI. Dobbiamo valorizzare le persone perché sono loro che sanno come funzionano questi sistemi e a quali risultati possono condurci». Il vero vantaggio competitivo nasce dalla collaborazione tra esperti, sviluppatori, data scientist e analisti di business.
«L’AI non elimina la necessità di competenze. Al contrario, le rende ancora più necessarie» – aggiunge Townsend. «Si moltiplicano le dichiarazioni di manager che collegano direttamente l’acquisizione di licenze Anthropic al licenziamento di migliaia di dipendenti. Le aziende che utilizzano l’AI solo per tagliare i costi adottano una visione miope. Lavoro con queste tecnologie ogni giorno e non vedo ancora alcun sistema AI capace di sostituire quaranta ore di lavoro umano. Il vero potenziale dell’AI consiste nell’espandere le capacità delle persone, non nel sostituirle indiscriminatamente».
