Non si fa che parlare di ChatGPT3. Ma cosa c’è dietro? Qual è il suo motore tecnologico? Quali sono le opportunità e i rischi di questa innovativa tecnologia? E Google resterà a guardare?
Per rispondere a queste domande ho chiesto una mano a Pierluigi Riti, lead security information engineer di MasterCard e autore di diverse pubblicazioni sull’intelligenza artificiale. Partiamo dalla domanda più semplice o quasi. Cos’è GPT3? «GPT3 è un modello generativo basato su transformer preistruito, ed è la terza generazione di modelli linguistici creati da OpenAI per dialogare con gli esseri umani nella maniera più naturale possibile» – spiega Riti. «OpenAI ha creato il modello basandosi su una rete neurale di tipo Transformer con 175 miliardi di parametri, con lo scopo di prevedere la parola successiva a un insieme di frasi già scritte. Rispetto alle tradizionali tecniche di NLP, Natural language processing, i Transformer consentono di elaborare frasi più complesse senza perdere il contesto della frase stessa. GPT3 è allenato su 45 terabyte di dati».
Come nasce?
«Nel 2017, un paper dal titolo “Attention is all you need” rivoluziona il mondo del NLP. Frutto della collaborazione tra Google e l’Università di Toronto, descrive un nuovo modo di interpretare il testo di una frase. E a differenza delle prime tecniche di NLP, un Transformer cerca di “ricordare”, mediante un meccanismo di attenzione, i precedenti componenti base della frase e questo permette di elaborare frasi più complesse e avere una maggiore comprensione della frase. Un anno dopo, OpenAI pubblica un documento dal titolo “Improving Language Understanding by Generative Pre-Training”. Questa ricerca segna la nascita del primo modello GPT, un modello GPT è un modello Generativo ovvero un modello statistico-matematico, in grado di generare dati basandosi su una probabilità congiunta».
Cosa è invece ChatGPT3?
«ChatGPT rappresenta la soluzione conversazionale di OpenAI. Si tratta di un algoritmo basato su GPT-3 (e da un addestramento aggiuntivo dedicato al codice di programmazione) ed ottimizzato per interagire con l’utente attraverso il “dialogo”. Come dice la parola stessa ChatGPT fa parte della famiglia delle architetture GPT, ma rispetto ai precedenti modelli, viene introdotta una funzionalità estremamente avanzata, un’architettura di Reinforcement learning (RL). Questa nuova architettura è basata su un lavoro rilasciato sempre da OpenAI nel 2017, “Deep Reinforcement Learning from Human Feedback” e ChatGPT è il risultato della sua applicazione pratica».
Come funziona un’architettura di Reinforcement learning?
«Un’architettura di Reinforcement learning è una tecnica di apprendimento automatico che permette di capire quale sia la migliore azione da compiere per raggiungere un determinato obiettivo, massimizzando un profitto o minimizzando un costo».
Puoi farmi un esempio?
«Proviamo a giocare a Pac-Man. Immaginiamo di trovarci in questa situazione: a tre caselle davanti c’è un fantasma; a due, un’apertura che va verso l’alto: mentre alle nostre le spalle, a una sola casella, c’è una caramella che ci permette di mangiare i fantasmi. La prima volta proviamo a muoverci verso l’alto, immaginando di riuscire a scappare e quindi salvare la caramella per un’altra occasione, ma in questo caso non abbiamo calcolato la velocità del fantasma che ci mangia. La seconda volta, proviamo a mangiare la caramella, eliminiamo il fantasma e continuiamo a giocare. In caso di Reinforcement learning, nel primo caso, l’AI avrebbe avuto una penalità perché sarebbe stata mangiata dal fantasma, mentre nell’altra situazione avrebbe avuto un premio, perché avrebbe mangiato il fantasma. In sintesi, un sistema di Reinforcement learning cerca sempre la condizione vincente, e in una situazione simile andrebbe a cercare la condizione che gli permetterebbe di mangiare il fantasma senza rischiare di essere mangiato. Nel caso di ChatGPT, durante il “dialogo”, il modello tende a imparare basandosi su quello che è il feedback che riceve proprio dall’utente».
E cosa significa?
«Che a ogni singola interazione utente, il modello di Reinforcement learning sul quale è basato ChatGPT evolve. E l’interazione diventa più fluida e meno “macchinosa” dando l’impressione di parlare con un vero essere umano. ChatGPT utilizza anche gli output redatti dall’essere umano come materiale per affinare le proprie capacità, sfruttando le domande che gli vengono poste ed elaborando ogni istante grandi quantità di dati».
Quindi, di cosa stiamo parlando esattamente?
«Di un modello di intelligenza artificiale ovvero un modello statistico/matematico, in grado di colloquiare con un uomo. Quello che rende ChatGPT avanzata rispetto ad altri modelli, è la capacità di adattare le sue risposte basandosi sui feedback che riceve dagli utenti, questo significa che se per esempio, l’utente A pone a ChatGPT una domanda su uno specifico argomento, e la risposta di ChatGPT non è soddisfacente sempre secondo l’utente A, ChatGPT è in grado di cambiare il modo di rispondere per adattarsi alla nuova condizione».
ChatGPT3 potrebbe competere e superare un motore di ricerca come Google?
«ChatGPT non è in grado di effettuare ricerche ma attinge semplicemente alle informazioni presenti nel suo database, che ricordiamo è formato da cinque dei più grandi database linguistici attualmente disponibili. Wikipedia, per esempio, fa parte dei database con cui ChatGPT è addestrata. Ed è normale avere risposte che si possono ricercare con Google. Ma un motore di ricerca indirizza pagine usando poche parole chiave, queste parole chiave sono usate per dare il contesto della pagina, ChatGPT usa il contenuto della pagina per rispondere a domande simili a quanto scritto nella pagina, magari prendendo informazioni da diverse pagine e mettendole insieme. Ovviamente, le risposte fornite da ChatGPT sembrano più complete di quelle fornite da un motore di ricerca, perché di fatto sono un mix di tante pagine messe insieme e usate per dare un’informazione che risulta “vincente” nei termini del Reinforcement learning, e qui nasce la prima grande preoccupazione legata a ChatGPT».
Quale?
«Durante la recente pandemia abbiamo avuto esempi di infodemia: informazioni false sono state diffuse senza controllare le fonti o peggio fornendo fonti false. ChatGPT può validare quelli che sono i nostri “bias cognitivi”. Il perché è presto detto, una ricerca su Google, fornisce risultati legati alle nostre parole chiave, il che significa che il risultato della ricerca può essere costituito da pagine visibilmente fake o non fornire i risultati sperati. Con ChatGPT invece è possibile costruire risultati che possono validare il proprio bias e costruire quindi la propria verità e presentarla come unica verità. In congiunzione con i social network, può causare veri e propri attacchi di ingegneria sociale».
Conclusioni
In estrema sintesi, ChatGPT3 non è un motore di ricerca e attualmente non può sostituirlo e non replica l’intelligenza umana. Tuttavia, con il passare degli anni, le prossime versioni ChatGPT o la stessa Google potranno creare strutture algoritmiche tali da apprendere continuamente, quasi in tempo reale e rivoluzionare il Web. Non replicheranno gli esseri umani ma li assisteranno, rendendogli la vita decisamente più semplice. Sempre riguardo la competizione tra Google e ChatGPT3, sembrerebbe che la prima vada a penalizzare i siti che vengono scritti con l’aiuto di ChatGPT3. E questo crea un precedente storico da analizzare per il presente ma soprattutto per il futuro.
