Una piattaforma open source per la ricerca di modelli di machine learning ottimali
Google AI ha annunciato il rilascio di Model Search, una piattaforma che aiuterà i ricercatori a sviluppare modelli di machine learning in modo automatico ed efficiente. Model Search si adatta a un determinato set di dati e problemi e, allo stesso tempo, riduce al minimo il tempo, lo sforzo e le risorse di codifica. La soluzione, basata su Tensorflow, può essere eseguita su entrambe le impostazioni distribuite o su una singola macchina. “Il successo delle reti neurali dipende spesso dalla misura in cui possono generalizzare vari compiti. È difficile progettare reti neurali in grado di fare ciò bene poiché la comprensione di questo concetto da parte della comunità di ricerca è limitata” spiega Google.
E le limitazioni diventano complicate quando vengono presi in considerazione i domini di machine learning. Tecniche come la ricerca dell’architettura neurale (NAS) utilizzano algoritmi, apprendimento per rinforzo (RL), algoritmi evolutivi e ricerca combinatoria per costruire una rete neurale da un dato spazio di ricerca. Sebbene queste tecniche possano fornire risultati migliori rispetto alle loro controparti progettate manualmente, gli algoritmi di solito eseguono calcoli pesanti e necessitano di migliaia di modelli per l’addestramento prima di convergere.
Come funziona
Per migliorare l’efficienza e l’accuratezza, Model Search consente di trasferire l’apprendimento tra vari esperimenti interni in due modi: distillazione della conoscenza o condivisione del peso. La distillazione della conoscenza consente di migliorare l’accuratezza dei candidati aggiungendo un termine di perdita che corrisponda alle previsioni dei modelli ad alte prestazioni oltre alla verità di base. Al contrario, la condivisione del peso esegue il “bootstrap” di alcuni dei parametri della rete da candidati precedentemente formati, copiando pesi adeguati da modelli una volta addestrati e inizializzando in modo casuale quelli rimanenti.
I ricercatori affermano che Model Search migliora i modelli di produzione con iterazioni minime. Hanno illustrato le capacità nel dominio del parlato scoprendo un modello per l’individuazione di parole chiave e l’identificazione della lingua. Il software ha utilizzato meno di 200 iterazioni, migliorando l’efficienza. I ricercatori hanno anche applicato la ricerca del modello per trovare un’architettura adatta alla classificazione delle immagini sul set di dati di imaging CIFAR-10 ampiamente esplorato. Sono stati rapidamente in grado di raggiungere un’accuratezza di riferimento di 91,83 in solo 209 prove, rispetto a 5807 prove per l’algoritmo RL. Il Model Search Code mira a fornire ai ricercatori un framework flessibile e indipendente dal dominio per la scoperta del modello migliore di machine learning. Il framework è abbastanza potente per costruire modelli con prestazioni allo stato dell’arte su problemi noti quando viene fornito con uno spazio di ricerca composto da blocchi di costruzione standard. Il codice estende l’accesso alle soluzioni AutoML alla sempre attenta comunità di ricerca.
