Quando l’intelligenza artificiale può agire: come la memoria, le competenze e l’autonomia ridefiniscono il rischio per la sicurezza
Una recente ricerca del team Lakera di Check Point Software Technologies, pioniere e leader globale nelle soluzioni di sicurezza informatica, rivela che i sistemi di IA agentica stanno ereditando anche le peggiori proprietà sia degli ecosistemi software tradizionali che dei modelli linguistici di grandi dimensioni, senza i controlli di sicurezza maturi di entrambi.
Tre classi di minacce emergenti in particolare segnalano che stiamo entrando in un’era di sicurezza fondamentalmente nuova, caratterizzata da agenti autonomi che agiscono, ricordano, si espandono ed eseguono codici. L’emergere di piattaforme come OpenClaw dimostra quanto velocemente gli ecosistemi degli agenti IA possano espandersi quando vengono introdotte competenze, estensioni e memoria persistente.
I dati:
- Lakera ha verificato 4.310 competenze OpenClaw e ne ha analizzate 221 in modo approfondito. Di queste, 44 erano legate a una campagna malware confermata (ClawHavoc), con oltre 12.559 download.
- Il 70,1% mostrava un eccesso di provisioning OAuth.
- Il 43,4% conteneva modelli di command injection.
- Le competenze vengono eseguite con privilegi locali completi e senza sandboxing.
Il tradizionale prompt injection è spesso considerato un exploit singolo. Si tratta di un’istruzione malevola incorporata in una pagina web o in un documento che causa un malfunzionamento del modello. Tuttavia, i sistemi agentici cambiano l’equazione.
A differenza dei chatbot stateless, gli agenti conservano una memoria di lunga durata tra una sessione e l’altra. Memorizzano il contesto, le preferenze, la cronologia delle attività e, talvolta, le istruzioni a livello di sistema. Questa persistenza consente flussi di lavoro potenti, introducendo una superficie di attacco sottile e complessa: l’avvelenamento della memoria e la deriva delle istruzioni.
In esperimenti controllati, i ricercatori di Lakera hanno dimostrato come un aggressore possa influenzare gradualmente la memoria memorizzata di un agente attraverso interazioni apparentemente innocue. Invece di emettere un comando ovviamente malevolo, l’attaccante semina istruzioni incrementali, rimodella le gerarchie di priorità e altera le barriere comportamentali nel tempo.
Il pericolo non è un’improvvisa presa di controllo, ma una deriva sottile e complessa nel comportamento. Alla fine, l’agente inizia a eseguire azioni al di fuori dei limiti della sua policy originale, comprese operazioni privilegiate. In uno scenario di laboratorio, questa progressione è culminata nell’esecuzione di una shell inversa perché la persistenza della memoria ha amplificato piccole manipolazioni nel tempo.
I team di sicurezza sono abituati a proteggere endpoint, API e supply chain. Sono molto meno preparati a monitorare o convalidare lo stato della memoria interna in evoluzione di un sistema di IA che riscrive continuamente il proprio contesto operativo.
Le piattaforme degli agenti si affidano sempre più a “competenze” o estensioni modulari. Queste competenze sono programmi leggeri che ampliano la portata operativa di un agente, tra cui l’esecuzione di codice, l’accesso al file system, le richieste di rete in uscita e le integrazioni di terze parti. In effetti, funzionano come plug-in in un ecosistema software tradizionale.
Dalle estensioni dei browser agli app store mobili, gli ecosistemi di estensioni aperte attraggono inevitabilmente attori malintenzionati. I marketplace delle competenze degli agenti non sono diversi, ma sono più pericolosi, perché gli agenti di IA possono scoprire, installare e invocare autonomamente queste competenze.
La ricerca di Lakera evidenzia come le competenze malevole possano fungere da canale diretto di distribuzione di malware. Una volta installate, operano con le autorizzazioni dell’agente, che possono includere l’accesso alla shell, l’archiviazione delle credenziali o le chiavi API, creando rischi a più livelli:
- Un utente potrebbe non essere in grado di ispezionare il codice della skill.
- L’agente potrebbe scegliere autonomamente la skill.
- La skill potrebbe operare con privilegi elevati.
- Il modello potrebbe non avere visibilità sul comportamento reale della skill.
Il risultato è una nuova combinazione di autonomia dell’IA e compromissione della catena di fornitura classica.
Nella sicurezza tradizionale del software, si verificano le dipendenze, si eseguono la scansione dei pacchetti e si applicano i requisiti di firma. In molti ecosistemi di agenti odierni, la governance è in ritardo rispetto alla crescita. Gli incentivi favoriscono la rapida creazione di competenze e l’espansione dell’ecosistema, trascurando la revisione sistematica e il monitoraggio del runtime.
Senza modelli di fiducia robusti, si rischia di ricreare il caos agli albori dei mercati delle app aperte, oltre al fatto che ora le applicazioni sono autonome e autorizzate ad agire per nostro conto.
Nel loro insieme, il memory poisoning e le competenze malevole mettono in luce un problema strutturale più profondo: gli ecosistemi degli agenti si stanno sviluppando più rapidamente dei loro quadri di governance. In assenza di norme applicate, meccanismi di controllo e principi di sicurezza fin dalla progettazione, gli ecosistemi tendono all’instabilità. Gli attori malintenzionati sfruttano l’ambiguità. I costruttori ben intenzionati sottovalutano la creatività degli avversari.
L’IA agentica aggrava questo problema perché la responsabilità diventa diffusa:
- La piattaforma è responsabile delle competenze dannose?
- Lo sviluppatore è responsabile del comportamento in fase di esecuzione?
- Il modello è responsabile dell’esecuzione di istruzioni non sicure?
- L’utente è tenuto a controllare le azioni autonome?
La sicurezza informatica tradizionale si è evoluta attorno a confini di sistema chiari. L’IA agentica erode questi confini. Un agente IA è contemporaneamente un motore di ragionamento, un sistema stateful, un ambiente di esecuzione, un partecipante al mercato e un attore in rete.
Ogni livello introduce un rischio distinto. Insieme, formano una superficie di attacco che non può essere affrontata solo con un rafforzamento tempestivo.
I sistemi agentici stanno passando rapidamente dalla fase sperimentale all’integrazione aziendale. Le organizzazioni stanno implementando agenti di intelligenza artificiale per la ricerca, lo sviluppo, l’analisi dei dati, l’automazione dei flussi di lavoro e persino la gestione delle infrastrutture, ma l’attuale approccio alla sicurezza rimane ancorato ai modelli di minaccia dell’era dei chatbot.
La ricerca evidenzia tre realtà urgenti:
- Lo stato è ora una superficie di attacco. La memoria persistente deve essere monitorata, sottoposta a versioning e controllata per verificarne l’integrità.
- Le competenze sono componenti della supply chain. Richiedono verifica, sandboxing e minimizzazione dei privilegi.
- L’autonomia amplifica le piccole vulnerabilità. Un agente in grado di agire ripetutamente, in modo adattivo e senza revisione umana amplifica il rischio.
Il passaggio dall’IA che suggerisce all’IA che esegue non è incrementale; è architettonica. È fondamentale costruire la sicurezza per l’era degli agenti, affrontare questi rischi richiederà nuovi controlli:
- Convalida dell’integrità della memoria e rilevamento delle anomalie
- Rigorosa definizione dell’ambito dei permessi per le competenze
- Monitoraggio del comportamento durante l’esecuzione
- Provenienza e firma trasparenti delle competenze
- Livelli di isolamento tra ragionamento ed esecuzione
È soprattutto necessario riconoscere che i sistemi di IA non sono più solo modelli. Vanno considerati come ambienti operativi. L’entusiasmo del settore per gli ecosistemi di agenti IA è giustificato. I guadagni in termini di produttività sono reali. Tuttavia, senza un investimento parallelo nell’architettura di sicurezza e nella governance, rischiamo di costruire sistemi potenti ed estensibili su basi di fiducia fragili.
