Com'è cambiato il fotorealismo nella realtà virtuale (VR) secondo Raja Koduri

Com'è cambiato il fotorealismo nella realtà virtuale (VR) secondo Raja Koduri

Ricordando una previsione fatta nel 2016 su quello che servisse per il vero fotorealismo con i visori VR, Raja Koduri di Intel spiega come quell'obiettivo sia sempre più vicino grazie al contributo delle reti neurali.

di pubblicata il , alle 08:01 nel canale Schede Video
Intel
 

Raja Koduri è una delle figure più note tra gli appassionati di schede video: attualmente vicepresidente esecutivo e general manager dell'Accelerated Computing Systems and Graphics (AXG) Group di Intel, Koduri ha per lunghi anni lavorato in ATI e AMD, inframezzando tra le due aziende un periodo anche in Apple. In Intel presiede tutte le attività legate allo sviluppo delle GPU di prossima generazione e in generale di tutti i sistemi di accelerazione per il calcolo parallelo.

A Vision 2022, in occasione di una roundtable con la stampa europea, ho potuto confrontarmi con Raja sul tema del fotorealismo nella grafica con visori di realtà virtuale partendo da un aneddoto del passato. Nel 2016, in occasione di un evento organizzato dal Radeon Technology Group di AMD, aveva predetto che per ottenere il fotorealismo con visori VR sarebbe stato necessario arrivare a una risoluzione di 16K per occhio, con una frequenza di refresh verticale di almeno 240 Hz. A quei tempi avevo calcolato la potenza di calcolo di riferimento necessaria sulla carta in qualcosa pari a 100 schede video NVIDIA GeForce GTX 980 in parallelo.

raja_gpu_data_center.jpg
Raja Koduri regge una scheda Intel Server GPU Data Center

Ricordando questa sua previsione, nonché la stima dei tempi legata alla potenza di elaborazione richiesta, ho chiesto a Raja quanto lavoro sia stato fatto in questi 6 anni per arrivare a quell'obiettivo e quanta distanza ci sia ancora, nelle più recenti architetture di GPU, per ottenere il vero fotorealismo con i visori VR.

Secondo Raja, trascorsi gli ultimi 6 anni siamo molto più vicini al fotorealismo con il VR di quanto potessimo pensare quando quella previsione è stata formulata. Dobbiamo pensare innanzitutto che è cambiata la complessità dei contenuti VR, superiore rispetto a quanto potessimo prevedere 6 anni fa, ma al contempo l'obiettivo del fotorealismo nel VR può ora sfruttare al meglio le tecniche di "neural net based reconstruction" come quelle XeSS (Xe Super Sampling) e DLSS (Deep Learning Super Sampling), sfruttando anche parte del lavoro sviluppato per i neural radiance filter.

Cambia quindi il quadro legato al fotorealismo con i visori VR, obiettivo che ora può essere più facilmente raggiunto grazie proprio al contributo di queste tecniche che nel 2016 non poteva ancora essere tenuto in considerazione. Ma c'è ancora molto lavoro da fare in collaborazione con la community degli sviluppatori software, i quali devono essere messi nella condizione di poter sfruttare nelle proprie app queste tecniche, in particolare le neural net based pipeline. 

Oltre a questo è necessario, per i produttori, rendere le architetture di GPU sempre più efficienti nella gestione delle reti neurali all'interno della pipeline grafica, così da arrivare a una realtà virtuale che sia, agli occhi dell'utilizzatore, indistinguibile rispetto al mondo reale. È per questo motivo che secondo Raja Koduri siamo oggi molto più vicini a quell'obiettivo di fotorealismo nella VR rispetto a quanto pensasse nel 2016, perché in quell'anno non era ancora ben chiaro quale potesse essere la serie di innovazioni tecnologiche in grado di rendere accessibile in un futuro prossimo quel risultato. Ora lo sappiamo: le reti neurali e tutte le tecniche, all'interno delle pipeline grafiche delle GPU, che permettono di sfruttarle al meglio.
10 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
al13511 Maggio 2022, 08:38 #1
speriamo ci riescano prima che tiri le cuoia
jepessen11 Maggio 2022, 09:10 #2
Il realismo nella VR si calcola in base a quanto ti scansi quando tua madre ricostruita in 3D ti lancia una ciabatta...
cruelboy11 Maggio 2022, 10:00 #3
arrivare a una realtà virtuale che sia, agli occhi dell'utilizzatore, indistinguibile rispetto al mondo reale.

Questa cosa, se da un lato m'inquieta a un ordine di grandezza assurdo, dall'altro lato non vedo l'ora che arrivi!

Originariamente inviato da: al135
speriamo ci riescano prima che tiri le cuoia

...tu o Raja?
jepessen11 Maggio 2022, 10:08 #4
Originariamente inviato da: cruelboy
Questa cosa, se da un lato m'inquieta a un ordine di grandezza assurdo, dall'altro lato non vedo l'ora che arrivi!


Per me sara' sempre facile distinguere.. La realta' virtuale sara' quella dove saro' magro...
supertigrotto11 Maggio 2022, 12:25 #5
Sulla densità dei pixel e refresh ha ragione,per ora i visori che abbiamo adesso (anche il mio quest) sono limitatissimi,sulla potenza di calcolo mi pare ovvio,per creare un mondo con convincente con una marea di poligoni e con tutte le texture e gli effetti attivati,mi sa che anche il Deep learning non basta,ci vuole ancora tanta potenza per avere qualcosa che si avvicina veramente alla realtà,altrimenti dobbiamo accontentarci di mondi con grafica da PlayStation 2 o Xbox 360.
jepessen11 Maggio 2022, 12:38 #6
Originariamente inviato da: supertigrotto
Sulla densità dei pixel e refresh ha ragione,per ora i visori che abbiamo adesso (anche il mio quest) sono limitatissimi,sulla potenza di calcolo mi pare ovvio,per creare un mondo con convincente con una marea di poligoni e con tutte le texture e gli effetti attivati,mi sa che anche il Deep learning non basta,ci vuole ancora tanta potenza per avere qualcosa che si avvicina veramente alla realtà,altrimenti dobbiamo accontentarci di mondi con grafica da PlayStation 2 o Xbox 360.


Ma guarda che non bastera' la mera potenza di calcolo per raggiungere il fotorealismo, per il semplice fatto che i modelli devono banalmente essere fatti da qualcuno, e non sono molte le persone che riescano a fare modelli tridimensionali fotorealistici, e ancora meno che li riescano a fare in quantita' necessarie per un gioco AAA, a meno di non voler usare solamente piccoli ambienti per la realta' virtuale. Puoi avere tutta la potenza che vuoi, ma alla fine il realismo sta anche (soprattutto?) nella bravura dei modellatori.
calabar11 Maggio 2022, 13:33 #7
Il discorso ha perfettamente senso, se la potenza di calcolo necessaria è quella, possiamo considerarla una potenza "ideale" che può essere raggiunta sia in modo reale (con chip con maggiore capacità di calcolo) che in modo "virtuale" (grazie a tecniche che permettono di raggiungere un risultato equivalente o quasi con minor capacità di calcolo).
Del resto lo si è sempre fatto nell'ambito della grafica digitale.

Oggi le tecniche basate su AI ci consentono di ridurre la risoluzione di riferimento, possiamo ulteriormente ridurre i calcoli necessari semplificando la scena nelle zone periferiche dell'area visualizzata tracciando il movimento degli occhi, possiamo ridurre la complessità delle scene lontane grazie a tecnologie che valutano la complessità poligonale necessaria, possiamo trovare tecniche di illuminazione migliori e quasi indistinguibili da quelle reali ma con minor peso computazionale (come l'ottima "Lumen" di UE5), e così via.

Per quanto riguarda i modelli fotorealistici, ormai il software aiuta molto gli sviluppatori e non è da escludere che in un prossimo futuro l'applicazione dell'intelligenza artificiale permetta di ottenere risultati fotorealistici in pochissimo tempo e con pochissimo sforzo.

Servirà ancora qualche anno per veder concretizzato tutto questo, ma se l'interesse rimarrà alto, allora la strada è tracciata.
Vash_8511 Maggio 2022, 14:31 #8
Originariamente inviato da: al135
speriamo ci riescano prima che tiri le cuoia


dai... in fin dei conti non manca molto....
Gnubbolo11 Maggio 2022, 17:56 #9
Originariamente inviato da: jepessen
Ma guarda che non bastera' la mera potenza di calcolo per raggiungere il fotorealismo, per il semplice fatto che i modelli devono banalmente essere fatti da qualcuno, e non sono molte le persone che riescano a fare modelli tridimensionali fotorealistici, e ancora meno che li riescano a fare in quantita' necessarie per un gioco AAA, a meno di non voler usare solamente piccoli ambienti per la realta' virtuale. Puoi avere tutta la potenza che vuoi, ma alla fine il realismo sta anche (soprattutto?) nella bravura dei modellatori.

quel qualcuno si chiama AI.
la modellazione si fa in automatico per piccoli oggetti con scanner 3D.
l'AI si occupa anche di altro.

modello 3D di cammello generato da video:
https://www.louisbouchard.ai/conten...el-output-1.gif

Link ad immagine (click per visualizzarla)


tra 5 anni avremo giochi creati da AI. per es. una AI può già oggi ricostruire in 3D scenografia, modelli degli attori e animazioni di Ragalo di Natale e poi lo sviluppatore umano completa, per es. permettendo ad uno o più Guest di sedersi al tavolo con i 5.
più la tecnologia che riguarda l'AI avanza, più è veloce la ricostruzione di ambienti e situazioni complesse.
kust0r12 Maggio 2022, 18:09 #10
Originariamente inviato da: Gnubbolo
tra 5 anni avremo giochi creati da AI. per es. una AI può già oggi ricostruire in 3D scenografia, modelli degli attori e animazioni di Ragalo di Natale e poi lo sviluppatore umano completa, per es. permettendo ad uno o più Guest di sedersi al tavolo con i 5.
più la tecnologia che riguarda l'AI avanza, più è veloce la ricostruzione di ambienti e situazioni complesse.


qualche anno ulteriore e ci finirà così:
https://youtu.be/WlRMLZRBq6U

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^