GameNGen è l'IA che simula Doom in tempo reale a 20 fotogrammi al secondo

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/scienz...do_130201.html

Utilizzando una versione modificata di Stable Diffusion un gruppo di ricercatori è riuscito a realizzare un modello capace di generare in tempo reale frame del videogioco Doom

Click sul link per visualizzare la notizia.

[TorettoMilano]

mi sembra quasi difficile da credere sia vero, boh

[matrix83]

Originariamente inviato da TorettoMilano

mi sembra quasi difficile da credere sia vero, boh

cosa c'è di incredibile? anzi è tutto a un livello molto basico al momento

[TorettoMilano]

Originariamente inviato da matrix83

cosa c'è di incredibile? anzi è tutto a un livello molto basico al momento

? replicare un videogame esclusivamente tramite IA, mi sembra di vivere in un film fantascientifico

[matrix83]

Originariamente inviato da TorettoMilano

? replicare un videogame esclusivamente tramite IA, mi sembra di vivere in un film fantascientifico

Parliamo della parte grafica, non dell'engine.

[TorettoMilano]

Originariamente inviato da matrix83

Parliamo della parte grafica, non dell'engine.

qui si parla di giocare a un clone di doom creato da un'IA e quoto una parte dell'articolo e non solo di assistere visivamente, quoto una parte dell'articolo

Il cuore di GameNGen è un sistema di rete neurale che funge da motore di gioco e anziché utilizzare le tradizionali tecniche di rendering grafico, segue un approccio per il quale la grafica in tempo reale viene "immaginata" o "allucinata" come fosse un compito predittivo: il modello, mentre viene guidato dall'input del giocatore, prevede lo stato di gioco successivo a partire da quelli precedenti, dopo essere stato addestrato su un'ampia quantità di filmati del gameplay di Doom. Utilizzando un singolo tensor processing unit, GameNGen è capace di generare oltre 20 fotogrammi al secondo di Doom.

[matrix83]

Originariamente inviato da TorettoMilano

qui si parla di giocare a un clone di doom creato da un'IA e quoto una parte dell'articolo e non solo di assistere visivamente, quoto una parte dell'articolo

Si, ma la parte creata dall'IA è limitata alla parte grafica. Detto terra terra, il gioco originale continua ad occuparsi di tutto (tasti, movimenti, collisioni, etc) mentre l'AI disegna il livello mentre ti muovi invece di avere una mappa prefatta. Almeno così l'ho inteso io.

[Univac]

Originariamente inviato da matrix83

Si, ma la parte creata dall'IA è limitata alla parte grafica. Detto terra terra, il gioco originale continua ad occuparsi di tutto (tasti, movimenti, collisioni, etc) mentre l'AI disegna il livello mentre ti muovi invece di avere una mappa prefatta. Almeno così l'ho inteso io.

Io invece ho inteso che la rete neurale getisce praticamente tutto, costruendo l'immagine in base alle immagini precedenti e all'input dell'utente, basandosi su filmati acquisiti.
Niente software doom sotto, niente mappa generata al volo dall'AI,
"semplicemente" (screen old)+(input)=(screen new).

Ma in effetti non e' chiarissimo.

[BEDBOI]

Mi ha fatto ricordare di un gioco più di 20 anni fa che creava in tempo reale la grafica e magari altro e che quindi pesava tipo 1MB, e mi andava a molto meno di 1fps... qualcuno se lo ricorda? Ricordo solo che camminavo in un corridoio stretto con visuale in prima persona, ma poi lo chiudevo perché mi scattava troppo.

[TorettoMilano]

Originariamente inviato da Univac

Io invece ho inteso che la rete neurale getisce praticamente tutto, costruendo l'immagine in base alle immagini precedenti e all'input dell'utente, basandosi su filmati acquisiti.
Niente software doom sotto, niente mappa generata al volo dall'AI,
"semplicemente" (screen old)+(input)=(screen new).

Ma in effetti non e' chiarissimo.

Il processo di sviluppo di GameNGen si è articolato in due fasi: dapprima i ricercatori hanno addestrato un agente di apprendimento per rinforzo a giocare a Doom, registrando le sessioni di gioco che sono state usate per realizzare un set di dati di addestramento, che nella seconda fase è stato impiegato per addestrare il modello Stable Diffusion adottato e personalizzato dai ricercatori.

leggendo questa parte sembra semplicemente l'IA apprenda dalle sessioni di gioco (come te dici del resto) e poi grazie a stable diffusion possa personalizzare il tutto in modo coerente.
quindi potenzialmente si può creare un livello nuovo, anche con ambienti mai esistiti su doom, giocandolo con tutte le meccaniche e la fisica di doom

[biometallo]

se avete tempo\voglia di aprofondire c'è sempre il sito ufficiale, linkato anche nell'articolo dove trovate il paper completo, io francamente ci ho dato un occhiata ieri sera ma per limiti miei non ci ho capito moltissimo, ma come dite la IA dovrebbe ricreare tutto, non solo la grafica

https://gamengen.github.io/

https://arxiv.org/pdf/2408.14837

[ZeroSievert]

Interessante. In teoria, con GPU un po piu' potenti, si potrebbero ipotizzare giochi che girano completamente sulla scheda grafica.

[aqua84]

Originariamente inviato da BEDBOI

Mi ha fatto ricordare di un gioco più di 20 anni fa che creava in tempo reale la grafica e magari altro e che quindi pesava tipo 1MB, e mi andava a molto meno di 1fps... qualcuno se lo ricorda? Ricordo solo che camminavo in un corridoio stretto con visuale in prima persona, ma poi lo chiudevo perché mi scattava troppo.

penso sia .kkrieger
sotto i 100kb, un 3D tutto generato in tempo reale dalla cpu, audio compreso
ha vinto dei premi (ovviamente)

https://www.myabandonware.com/game/k...-chapter-1-cl1

[BEDBOI]

Originariamente inviato da aqua84

penso sia .kkrieger
sotto i 100kb, un 3D tutto generato in tempo reale dalla cpu, audio compreso
ha vinto dei premi (ovviamente)

https://www.myabandonware.com/game/k...-chapter-1-cl1

Speravo che vedendolo mi ritornasse in mente, ma ormai è passato troppo! Comunque grazie, potrebbe benissimo essere questo.