Noleggi dalle cifre importanti, giustificati dal costo di sviluppo e gestione dei modelli
OpenAI sta lanciando una nuova piattaforma per sviluppatori che consentirà di eseguire i nuovi modelli di machine learning dell’azienda, come GPT-3.5, su macchine dedicate. OpenAI descrive l’offerta, chiamata Foundry, come “progettata per clienti all’avanguardia che eseguono carichi di lavoro più grandi. Foundry consente l’inferenza su larga scala con il pieno controllo sulla configurazione del modello e sul profilo delle prestazioni”, si legge nella documentazione. Ogni volta che viene avviato, il sistema fornirà una “allocazione statica” della capacità di calcolo (forse su Azure, la piattaforma cloud pubblica preferita di OpenAI) dedicata a un singolo cliente, che potrà monitorare istanze specifiche con gli stessi strumenti e dashboard utilizzati da OpenAI per creare e ottimizzare i modelli. Inoltre, Foundry fornirà un certo livello di controllo, consentendo ai clienti di decidere se eseguire o meno l’aggiornamento a versioni di modelli più recenti, nonché una messa a punto “più solida” per gli ultimi modelli di OpenAI.
I noleggi saranno basati su unità di calcolo dedicate con impegni trimestrali o annuali; l’esecuzione di una singola istanza del modello richiederà un numero specifico di unità di calcolo. C’è da dire che le istanze non saranno per nulla economiche: l’esecuzione di una versione leggera di GPT-3.5 costerà 78.000 dollari per un impegno di tre mesi o 264.000 dollari all’anno. Per metterlo in prospettiva, uno dei supercomputer di nuova generazione di Nvidia, la DGX Station, costa 149.000 dollari a unità. Una parziale giustificazione potrebbe risiedere nei costi di elaborazione, per nulla bassi. La formazione di modelli di intelligenza artificiale all’avanguardia può costare anche milioni di dollari e gestirli in genere non è molto più economico. Secondo il co-fondatore e CEO di OpenAI, Sam Altman, eseguire ChatGPT costa pochi centesimi a chat, una cifra non trascurabile considerando che il chatbot aveva oltre un milione di utenti lo scorso dicembre.
