Nvidia GANverse3D: da un'immagine a un modello 3D, potenza delle reti neurali

Nvidia GANverse3D: da un'immagine a un modello 3D, potenza delle reti neurali

L'ultimo modello di Nvidia Research, GANverse3D, trasforma le immagini 2D in oggetti 3D per sviluppatori di giochi, artisti, designer e architetti. Come fa? Usa le cosiddette Generative Adversarial Networks (GAN), ossia due reti neurali in competizione tra loro.

di pubblicata il , alle 15:01 nel canale Schede Video
NVIDIAintelligenza artificiale
 

Da immagini 2D a oggetti animati in 3D, senza sforzo. GANverse3D, in sviluppo presso l'AI Research Lab di Nvidia a Toronto, consente di dare vita alle immagini, tramutandole in oggetti visualizzabili e controllabili in ambienti virtuali all'interno di Nvidia Omniverse.

Per ora questo è possibile con forme ben definite e non articolate, come le auto, ma in futuro potrebbe persino maturare fino a dare vita all'immagine di una persona, creandone immediatamente una controparte 3D.

GANverse3D potrebbe aiutare architetti, sviluppatori di giochi e designer ad aggiungere facilmente nuovi elementi ai loro modelli senza bisogno di esperienza nella modellazione 3D o di un budget elevato da spendere per il rendering. I ricercatori di Nvidia hanno illustrato il loro lavoro in un paper su ArXiv.


La foto originale

La singola foto di un'auto può essere trasformata in un modello 3D completo di fari, fanali posteriori e tutto il resto, creando così rapidamente un oggetto da poter far muovere all'interno di una scena virtuale. Per generare il set di dati per la formazione, i ricercatori hanno sfruttato una rete generativa avversaria (generative adversarial network), o GAN, per sintetizzare immagini che raffigurano lo stesso oggetto da più punti di vista, come un fotografo che cammina intorno a un veicolo parcheggiato, scattando da diverse angolazioni.

Queste immagini da più punti di vista sono poi inserite in un framework di rendering per la grafica inversa, il quale permette di inferire modelli mesh 3D da immagini 2D. Una volta addestrata con le immagini da più viste, GANverse3D necessita solo di una singola immagine 2D per ottenere un modello mesh 3D. Questo modello può essere usato con un renderer neurale 3D che permette agli sviluppatori di personalizzare gli oggetti e cambiare gli sfondi.

Se importato come estensione nella piattaforma Omniverse e renderizzato da una GPU Nvidia RTX, GANverse3D può essere usato per ricreare una qualsiasi immagine 2D in 3D; l'azienda ha dimostrato questa tecnologia con KITT, l'auto del popolare programma televisivo Knight Rider (Supercar) degli anni '80.


Il modello 3D ottenuto con GANverse3D

I modelli precedenti per la grafica inversa si basavano su forme 3D come dati di addestramento. Invece, senza l'aiuto di asset 3D, "abbiamo trasformato un modello GAN in un generatore di dati molto efficiente in modo da creare oggetti 3D da qualsiasi immagine 2D sul web", ha affermato Wenzheng Chen, ricercatore di Nvidia a capo del progetto. "Poiché ci siamo allenati su immagini reali invece che sulla tipica pipeline, che si basa su dati sintetici, il modello di IA si generalizza meglio con le applicazioni del mondo reale", ha aggiunto il ricercatore Jun Gao, un autore del progetto.

I creatori di giochi, gli architetti e i designer si affidano ad ambienti virtuali come Nvidia Omniverse per testare nuove idee e visualizzare prototipi prima di creare i prodotti finali. Con gli Omniverse Connectors, gli sviluppatori possono usare le loro applicazioni 3D preferite in Omniverse per simulare mondi virtuali complessi con ray tracing in tempo reale.


Confronto tra l'immagine reale e GANverse3D

Il problema è che non tutti i creatori di contenuti hanno il tempo e le risorse per creare modelli 3D di ogni oggetto che disegnano. Il costo per acquisire il numero di immagini da più viste necessarie per il rendering di un'auto in uno showroom o degli edifici di una strada può essere proibitivo. Ed è qui che entra in gioco GANverse3D.

Per ricreare KITT, i ricercatori di Nvidia hanno alimentato il modello allenato con un'immagine dell'auto, lasciando a GANverse3D il compito di prevedere la corrispondente mesh texturizzata in 3D, nonché diverse parti del veicolo come ruote e fari. Hanno quindi usato NVIDIA Omniverse Kit e gli strumenti NVIDIA PhysX per convertire la texture prevista in materiali di alta qualità che conferiscono a KITT un aspetto più realistico, per poi inserire l'auto in una sequenza dinamica accanto ad altre auto.

Il modello GAN permette ai ricercatori di manipolare i layer (gli strati) della sua rete neurale per trasformarlo in un generatore dati. Più precisamente, i ricercatori hanno riscontrato che aprendo i primi quattro strati della rete neurale e congelando i restanti 12, la rete GAN renderizzava immagini dello stesso oggetto da differenti punti di vista. Al contrario, congelando i primi quattro layer e lasciando gli altri 12 variabili portava la rete neurale a generare differenti immagini dallo stesso punto di vista.

Assegnando manualmente dei punti di vista standard, con i veicoli raffigurati a una specifica altezza e distanza della telecamera, i ricercatori possono generare rapidamente un set di dati multi-vista partendo da singole immagini 2D. Il modello finale, allenato con immagini di 55.000 auto generate da GAN, si è dimostrato superiore a una rete grafica inversa allenata con il popolare set di dati Pascal3D.

5 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
MikTaeTrioR16 Aprile 2021, 18:08 #1
una volta perfezionata questa tecnologia alzerà di un ulteriore livello il commercio elettronico..
Gringo [ITF]16 Aprile 2021, 19:14 #2
Commercio di che... in mancanza di un mercato... per ora è solo un concetto utile per velocizzare creazioni che non vengono usate..... perchè manca hardware, era più utile da una foto ecse il modellino in legno.
MikTaeTrioR16 Aprile 2021, 20:45 #3
Originariamente inviato da: Gringo [ITF]
Commercio di che... in mancanza di un mercato... per ora è solo un concetto utile per velocizzare creazioni che non vengono usate..... perchè manca hardware, era più utile da una foto ecse il modellino in legno.


avere un sistema che da un po di foto tiri fuori un modello 3d ben fatto da mettere su un sito internet, ad oggi, è un sogno.
bonzoxxx16 Aprile 2021, 22:33 #4
Originariamente inviato da: Gringo [ITF]
Commercio di che... in mancanza di un mercato... per ora è solo un concetto utile per velocizzare creazioni che non vengono usate..... perchè manca hardware, era più utile da una foto ecse il modellino in legno.


Beh fai il modello poi lo passi alla CNC, certo serve un livello di precisione MOLTO più elevato di quello dell'articolo ma è un buon inizio imho
lostx8718 Aprile 2021, 14:36 #5
sempre meglio che partire da 0 nel realizzare qualcosa in 3d, ben venga

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^