Dopo Doom anche Super Mario: l'IA simula l'idraulico più famoso dei videogiochi

Dopo Doom anche Super Mario: l'IA simula l'idraulico più famoso dei videogiochi

Spunta un altro modello di IA generativa che riesce ad imparare la fisica e la dinamica di gioco di Super Mario Bros senza che sia necessaria una programmazione esplicita, ma solo osservando video di gioco

di pubblicata il , alle 16:31 nel canale Web
 

MarioVGG è un modello di intelligenza artificiale che punta a generare video plausibili del celeberrimo videogioco Super Mario Bros in risposta agli input dell'utente, utilizzando tecniche di diffusione generalizzata delle immagini simili a quelle impiegate dal modello GameNGen di Google per Doom.

Il modello è stato presentato in un documento pubblicato dalla società Virtual Protocols e nonostante i risultati attualmente condivisi mostrino ancora diverse imperfezioni grafiche e una velocità di elaborazione troppo lenta per un gameplay in tempo reale, MarioVGG dimostra la capacità di dedurre la dinamica di gioco in maniera piuttosto fedele ed attendibile, semplicemente analizzando video e dati di input.

Le fasi di addestramento di MarioVGG sono state particolarmente complesse, ma colpiscono anche per l'approccio particolarmente ingegnoso. I ricercatori hanno utilizzato un set di dati pubblici del gameplay di Super Mario Bros, comprendente 280 livelli di dati di input e immagini, escludendo il famosissimo livello 1-1 che è stato utilizzato solo successivamente nella valutazione. Si è trattato di un volume di 737 mila singoli frame, che sono stati pre-elaborati in blocchi da 35 frame ciascuno che hanno permesso al modello di apprendere le conseguenze immediate di diversi tipi di input.

I ricercatori hanno voluto semplificare la situazione, concentrandosi solamente sugli input "corri a sinistra" e "corri a destra e salta". Una semplificazione che non ha comunque evitato qualche difficoltà: il sistema doveva analizzare i frame precedenti ad un salto per capire dove iniziasse il movimento di "corsa" e inoltre tutti i salti che risultavano in qualche modo modulati a mezz'aria sono stati eliminati per evitare di generare "rumore" nel set di dati di addestramento.

Sono state necessarie 48 ore di training con una singola scheda grafica RTX 4090, dopo le quali i ricercatori hanno usato un processo standard di convoluzione e denoising per generare nuovi frame video partendo da un'immagine di gioco statica e da un input testuale (in questo caso limitato a "corri" o "salta"). I ricercatori sostengono che con questo tipo di approccio è possibile creare sequenze di gioco di qualsiasi lunghezza, dal momento che il processo può creare spezzoni di pochi frame che però possono essere concatenati tra loro riuscendo a mostrare un elevato grado di coerenza visuale e di dinamica di gioco.

E' comunque stato necessario ridurre la risoluzione di output a 64x48 pixel dai 256x240 pixel originali del Nintendo Entertainment System per poter ottenere una fluidità visiva accettabile. Il modello inoltre "comprime" 35 frame effettivi di tempo video in soli 7 frame generati, dando luogo ad un'animazione meno raffinata rispetto a quella del gioco originale. E nonostante tutte questi compromessi il modello non è ancora stato in grado di generare un flusso video comparabile a quello dei videogiochi "reali". MarioVGG impiega sei secondi per generare una sequenza video di sei frame, che costituiscono poco più di mezzo secondo di video.

Al netto di queste evidenti limitazioni, riconosciute dai ricercatori stessi, MarioVGG riesce a generare video sufficientemente credibili dell'idraulico più famoso del mondo dei videogiochi che corre e salta, a partire da un'immagine statica. I ricercatori sottolineano come il modello sia stato capace di apprendere la fisica del gioco (Mario che cade dall'alto o che si ferma in prossimità di un ostacolo) solamente "osservando" i fotogrammi usati nel materiale di addestramento, senza che sia stato necessario provvedere alla stesura e codifica di regole esplicite.

I ricercatori hanno inoltre riscontrato la capacità del modello di creare dal nulla nuovi ostacoli, generati in maniera coerente con la grafica di Super Mario Bros, anche se lo scopo principale di MarioVGG è la simulazione dei movimenti del personaggio. Al momento questi ostacoli generati non possono essere influenzati da input specifici dell'utente.

Sono stati riscontrati però anche problemi diffusi di comportamenti inattesi: un video mostra, in maniera un po' surreale, Mario che cade da un ponte, si trasforma in un nemico, vola attraverso altri elementi del gioco e poi si trasforma nuovamente in Mario. Secondo i ricercatori un addestramento più esteso e con dati maggiormente diversificati potrebbe consentire al modello di risolvere questo genere di problemi e di simulare azioni più complesse. 

Poste le limitazioni ed i problemi, MarioVGG è un altro interessante proof-of-concept delle potenzialità applicative delle intelligenze artificiali generative, che mostra in particolare la possibilità di creare modelli di base, pur partendo da dati di addestramento limitati, per simulare giochi classici.

Se il modello è certamente ancora lontano dall'essere una soluzione pratica per la generazione di videogiochi in tempo reale, gli va comunque riconosciuta la capacità di inferire regole di fisica e gameplay senza una programmazione esplicita. L'ambizione dei ricercatori è quella di riuscire, un domani, a creare un "generatore" di videogiochi che possa sostituire lo sviluppo dei motori di gioco tradizionali a favore di modelli di generazione video.

33 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
TorettoMilano06 Settembre 2024, 16:42 #1
beh avrei capito la notizia a ordine invertito, se si riesce con doom mi stupirei non si riesca con super mario comunque fantascientifico il tutto
euscar06 Settembre 2024, 23:00 #2
Intanto quanta energia è stata sprecata per questi "virtuosismi"?
TorettoMilano07 Settembre 2024, 09:55 #3
Originariamente inviato da: euscar
Intanto quanta energia è stata sprecata per questi "virtuosismi"?


immagino l'obiettivo ultimo di questi "virtuosismi" sia di semplificare lo sviluppo dei videogame E quindi risparmiare anche energia totale
Jacopo Mordillo07 Settembre 2024, 10:13 #4

che tristezza

che spreco assurde di risorese!

un gioco che funzionava (e faceva divertire) a 256x240 pixel in soli 5 Mega
oggi grazie alla superpotenza di calcolo e di giga e giga di memoria riesce a fare spezzoni in lowres e probabilmente neanche divertenti.

in non vedo tutta questa capacità generativa di queste IA , vedo solo capacità di combinare in maniera diversa (e si a volte sorprendente) pezzi di un puzzle già fatto da altri, ma a furia di incastrarli male i pezzi si rovinano e dopo un poco tutto il puzzle è inusabile.

vedremo....

Antonio F2.07 Settembre 2024, 10:31 #5
la mad*, che commenti da poco qui sopra.
Ratavuloira07 Settembre 2024, 12:09 #6
Originariamente inviato da: TorettoMilano
immagino l'obiettivo ultimo di questi "virtuosismi" sia di semplificare lo sviluppo dei videogame E quindi risparmiare anche energia totale


Certo, risparmiare energia, salvare il pianeta. Non per far risparmiare soldi ai miliardari, eh
TorettoMilano07 Settembre 2024, 12:22 #7
Originariamente inviato da: Ratavuloira
Certo, risparmiare energia, salvare il pianeta. Non per far risparmiare soldi ai miliardari, eh


strano in una società capitalista si punti a fare profitto eh, stavo solo dicendo come questo sistema possa avere un risvolto positivo energicamente parlando
Ratavuloira07 Settembre 2024, 12:23 #8
Originariamente inviato da: TorettoMilano
strano in una società capitalista si punti a fare profitto eh, stavo solo dicendo come questo sistema possa avere un risvolto positivo energicamente parlando


Ah sì immagino le percentuali di risparmio energetico dato dall'uso dell'IA nella produzione dei videogiochi. Anche se forse la macchina di Ilario ce la ricarichi
TorettoMilano07 Settembre 2024, 12:29 #9
Originariamente inviato da: Ratavuloira
Ah sì immagino le percentuali di risparmio energetico dato dall'uso dell'IA nella produzione dei videogiochi. Anche se forse la macchina di Ilario ce la ricarichi


qui nessuno di noi può immaginare con certezza nulla ma solo assistere alle evoluzioni e vedere i dati, magari avrai ragione te a dire "si consumerà di più" o "magari avrò ragione io a dire che si annulleranno i tempi di sviluppo e si consumerà meno".
vedremo
biometallo07 Settembre 2024, 13:54 #10
Originariamente inviato da: Jacopo Mordillo
in soli 5 Mega


5 mega che!?

Forse non te ne rendi conto ma una cartuccia da 5 mega nel 1985 sarebbe stata pura fantascienza, a titolo comparativo Maio64 uscito nel 1996 era stipato in una cartuccia da 8 mega, torando al primo Super Mario Bros era invece una cartuccia da 40kbyte che poi è proprio il limite nativo del famicom\nes, per superare tale limite successivamente sono stati sviluppati sia da nintendo che da altri produttori i famosi chip mapper

https://www.nesdev.org/wiki/Mapper


NES games come in cartridges, and inside of those cartridges are various circuits and hardware. Different games use different circuits and hardware, and the configuration and capabilities of such cartridges is commonly called their mapper. Mappers are designed to extend the system and bypass its limitations, such as by adding RAM to the cartridge or even extra sound channels. More commonly though, mappers are designed to allow games larger than 40K to be made.

The term "mapper" arises from the concept of memory mapping: translating memory hardware into the CPU's and PPU's address spaces. A memory map describes which addresses correspond to which physical locations of memory.




Originariamente inviato da: TorettoMilano
stavo solo dicendo come questo sistema possa avere un risvolto positivo energicamente parlando


Mah, metto subito le mani avanti precisando che di AI ne capisco meno di zero, però se serve la potenza di una centrale nucleare per fare la luce di una candela mi pare evidente che qui nemmeno ci provano a parlare di una maggiore efficenza energetica e per quanto sicuramente in futuro da questo punto di vista si faranno passi enormi (banalmente oggi si usano quasi esclusivamente le GPU ma già si cominciano a progettare chip pensati per questo compito specifico che promettono di essere molto più efficenti) piuttosto qui semplicemente si comincia ad esplorare cose che fino a ieri erano pura fantascienza, cioè stiamo parlando di una macchina che partendo da un fotogramma statico non solo riconosce i vari elementi della grafica, ma è in grado di immaginare come potrebbe proseguire la partita, un'abilità che fino ad oggi era esclusiva del cervello umano.

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^