I modelli multimodali TerraMind sono stati affinati su un dataset di prima generazione progettato da IBM e ESA per migliorare la preparazione e la risposta alle calamità naturali
Gli incendi in Bolivia dello scorso anno hanno devastato un’area grande quanto la Grecia, costringendo migliaia di persone a lasciare le proprie case e causando perdite di raccolti e bestiame. La causa degli incendi è stata attribuita al disboscamento, alla combustione dei pascoli e a una grave siccità durante quello che è stato l’anno più caldo mai registrato sulla Terra.
Questi incendi sono solo uno, tra centinaia di eventi come inondazioni estreme e incendi, catturati in un nuovo dataset globale multimodale chiamato ImpactMesh, rilasciato questa settimana come open source da IBM Research in Europa e dall’Agenzia Spaziale Europea (ESA). Il dataset è anche multi-temporale e include snapshot che rappresentano il prima e il dopo delle aree allagate o colpite dagli incendi. Le riprese sono state catturate dai satelliti Copernicus Sentinel-1 e Sentinel-2 durante le loro orbite attorno alla Terra nell’ultimo decennio.
Per fornire una visione più chiara dei cambiamenti a livello di paesaggio, ogni evento estremo nel dataset è rappresentato da tre tipi di osservazioni: immagini ottiche, immagini radar e una mappa dell’altitudine dell’area colpita. Quando nubi temporalesche e incendi fumosi impediscono ai sensori ottici di rilevare l’entità di inondazioni e incendi boschivi dallo spazio, le immagini radar e l’altitudine del terreno possono aiutare a rivelare la gravità di quanto appena accaduto.
I modelli geospaziali di base attuali sono pre-addestrati su filmati satellitari grezzi analizzati in due modi diversi: su immagini multi-temporali prima e dopo, come i modelli Prithvi di IBM e NASA, oppure su dati di diverse modalità, come il modello TerraMind di IBM ed ESA rilasciato all’inizio di quest’anno, nell’ambito del programma FutureEO dell’ESA. Il dataset ImpactMesh è stato progettato per unire questi approcci e mettere a fuoco in modo più nitido l’impatto di inondazioni e incendi.
I ricercatori di IBM e ESA hanno utilizzato ImpactMesh per adattare il loro precedente modello TerraMind per la mappatura delle calamità naturali, scoprendo che affinando il modello su dati di altitudine, oltre a immagini ottiche e radar di un’area prima e dopo essere stata bruciata dagli incendi, TerraMind poteva superare i modelli addestrati su singole immagini Sentinel-2 di almeno il 5%.
Inondazioni e incendi rappresentano quasi la metà delle calamità naturali registrate negli ultimi dieci anni ed è evidente che questi eventi diventano sempre più gravi a causa del surriscaldamento terrestre. I modelli di intelligenza artificiale addestrati su ImpactMesh potrebbero essere utilizzati per una vasta gamma di applicazioni, dalla pianificazione della risposta immediata dopo una calamità alla valutazione dei danni e alla determinazione di dove (e dove non) ricostruire. Il dataset offre una copertura unica pre e post-disastro utile per creare mappe di rischio più accurate.
“Comprendere l’impatto dei disastri naturali richiede una collaborazione globale. Con il rilascio di questi modelli, diamo la possibilità a ricercatori e soccorritori di tutto il mondo di utilizzare i dati di osservazione della Terra per una mappatura dei disastri più rapida e accurata”, ha affermato Giuseppe Borghi, responsabile della divisione Φ-lab dell’Agenzia Spaziale Europea. “Questo è un passo avanti verso la costruzione della resilienza di fronte a un pianeta in continua evoluzione”.
Il dataset ImpactMesh e i modelli TerraMind personalizzati fanno parte di una collaborazione in corso tra IBM ed ESA. Ad aprile, i ricercatori hanno rilasciato il loro modello TerraMind multimodale, che all’epoca ha superato una dozzina di altri modelli geospaziali in attività di mappatura comuni sul benchmark della comunità, PANGAEA. Questo lavoro fa parte di un più ampio impegno di IBM Research per sviluppare modelli di intelligenza artificiale open-source di prim’ordine, strumenti e benchmark per comprendere meglio il nostro pianeta.
“ImpactMesh potrebbe stabilire un nuovo standard per l’applicazione dell’intelligenza artificiale geospaziale ai disastri naturali”, ha affermato Juan Bernabe-Moreno, Direttore di IBM Research Europa, Irlanda e Regno Unito. “Combinando architetture di modelli avanzati con dati approfonditi di osservazione della Terra, abbiamo raggiunto un livello di innovazione nella previsione e nella resilienza dei disastri che solo una collaborazione aperta può realizzare”.
IBM e ESA stanno anche rilasciando TerraKit, un pacchetto open-source che semplifica la creazione di dataset geospaziali e l’adattamento di modelli di intelligenza artificiale con informazioni aggiornate. TerraKit può essere utilizzato per ampliare la raccolta di dati relativi a inondazioni e incendi boschivi di ImpactMesh oppure per creare un nuovo dataset partendo da zero.
I modelli TerraMind aggiornati, insieme a ImpactMesh, sono disponibili su Hugging Face con una licenza Apache 2.0 permissiva. “Ci auguriamo che rendendo questo lavoro accessibile, i ricercatori possano ampliarlo e migliorare il modo in cui monitoriamo i disastri naturali”, ha affermato Benedikt Blumenstiel, IBM Research Software Engineer.
