La tecnologia IA permette di ricostruire foto degli ambienti reali partendo da ciò che vede una pupilla
I ricercatori dell’Università del Maryland hanno trasformato i riflessi degli occhi in scene 3D. Il lavoro si basa su Neural Radiance Fields (NeRF), una tecnologia IA in grado di ricostruire ambienti da foto 2D. Sebbene l’approccio del riflesso oculare abbia ancora molta strada da fare prima che generi applicazioni pratiche, lo studio (riportato per la prima volta da Tech Xplore) fornisce uno sguardo affascinante su una tecnologia che potrebbe eventualmente rivelare un ambiente da una serie di semplici foto. Il team ha utilizzato sottili riflessi di luce catturati negli occhi umani (utilizzando immagini consecutive scattate da un singolo sensore) per cercare di discernere l’ambiente circostante. Gli scienziati hanno iniziato con diverse immagini ad alta risoluzione da una posizione fissa della telecamera, catturando un individuo in movimento che guardava verso l’obiettivo. Hanno quindi ingrandito i riflessi, isolandoli e calcolando dove stavano guardando gli occhi nelle foto. I risultati mostrano una ricostruzione ambientale decentemente distinguibile da occhi umani in un ambiente controllato.
Il team ha superato notevoli ostacoli per ricostruire anche scene grezze e sfocate. Ad esempio, la cornea introduce un “rumore intrinseco” che rende difficile separare la luce riflessa dalle complesse trame dell’iride umana. Per risolvere questo problema, è stata introdotta l’ottimizzazione della posa della cornea (stima della posizione e dell’orientamento della cornea) e la decomposizione della trama dell’iride (estrazione delle caratteristiche uniche dell’iride di un individuo). Infine, la perdita di regolarizzazione della trama radiale (una tecnica di apprendimento automatico che simula trame più uniformi rispetto al materiale originale) ha contribuito a isolare e migliorare ulteriormente lo scenario riflesso. Nonostante i progressi e le soluzioni intelligenti, permangono ostacoli significativi. “I nostri attuali risultati nel mondo reale provengono da una ‘configurazione di laboratorio’, come l’acquisizione ingrandita del volto di una persona, le luci dell’area per illuminare la scena e il movimento deliberato della persona”, hanno scritto gli autori.
“Riteniamo che le impostazioni più libere rimangano impegnative (ad esempio, videoconferenze con movimento naturale della testa) a causa della minore risoluzione del sensore, della gamma dinamica e del motion blur”. Inoltre, il team osserva che i suoi presupposti universali sulla trama dell’iride potrebbero essere troppo semplicistici per essere applicati in senso ampio, specialmente quando gli occhi ruotano in genere più ampiamente rispetto a questo tipo di impostazione controllata. Tuttavia, il team vede i loro progressi come una pietra miliare che può stimolare scoperte future. “Con questo lavoro, speriamo di ispirare future esplorazioni che sfruttano segnali visivi inaspettati e accidentali per rivelare informazioni sul mondo che ci circonda, ampliando gli orizzonti della ricostruzione della scena 3D”.
