Giochi capaci di costruirsi in tempo reale in base a scelte e interessi dell'utente, il brevetto di Microsoft

[Redazione di Hardware Upg]

Link alla notizia: https://gaming.hwupgrade.it/news/vid...ft_159660.html

Microsoft ha depositato un brevetto per un sistema basato sull'AI generativa capace di modificare storie, missioni e ambientazioni dei giochi Xbox in base al comportamento del giocatore in tempo reale. L'obiettivo è generare contenuti non previsti dagli sviluppatori, sulla base di scelte, preferenze e interessi del singolo giocatore

Click sul link per visualizzare la notizia.

[rattopazzo]

Forse è il sogno di ogni videogiocatore, un gioco dove ogni scelta conta per davvero per rendere ogni partida davvero unica, ma forse non rischieremmo di avere dei risvolti di trama un pò blandi e incoerenti?
del resto non si può pensare di avere la botte piena e la moglie ubriaca.

[mozzarello]

Originariamente inviato da rattopazzo

Forse è il sogno di ogni videogiocatore, un gioco dove ogni scelta conta per davvero per rendere ogni partida davvero unica, ma forse non rischieremmo di avere dei risvolti di trama un pò blandi e incoerenti?
del resto non si può pensare di avere la botte piena e la moglie ubriaca.

Credo che la cosa che sappiano fare meglio gli LLM dopo sviluppare codice e "creare" storie.

Su NotebookLM hanno fatto un notebook in cui hanno caricato tutti i racconti di Arthur Conan Doyle su Sherlock Holmes, ed è possibile fargli generare storie interattive a tema che seguano il modo di scrivere ddi Conan Doyle.
https://notebook.google.com/notebook...0-48c4b70d14cc

In quel caso però si potrebbe usare l'IA per far diventare ogni NPC "importante" come un agente IA, con una sua personalità precotta (i famosi file .md), ogni voòta il giocatore dialoga, le risposte vengono generate da un LLM e l'agente sarebbe poi in grado di interagire col mondo di gioco per conto suo, seguendo le regole dello stesso (un po' come ora via MCP utilizzano software esterni).

Non so quanto andrebbe a costare chiaro, ma quello potrebbe diventare davero interessante.

[destroyer85]

Sapevo che dovevo brevettarlo io!
Avevo pensato di rifare un gioco di quando ero giovane, Hidden & Dangerous.
Nell'originale, praticamente solo single player, con una squadra di 4 uomini dovevi affrontare varie missioni partendo da un briefing, scelta delle armi.
Stessa cosa ma in multiplayer e i livelli possono generati automaticamente, oltre ad avere delle missioni già esistenti.

[Maxt75]

Chissà come faranno a finire il gioco quelli che non sanno fare due metri senza le soluzioni uguali per tutti

[mmorselli]

Originariamente inviato da rattopazzo

ma forse non rischieremmo di avere dei risvolti di trama un pò blandi e incoerenti?

Dipende se te ne frega qualcosa della trama. A me per esempio piacciono i survival open world, ogni volta che mi imbatto in qualcosa che spende più di 10 parole sulla trama cerco solo il modo per skipparla. In genere è piuttosto irrilevante, conta la lore e le meccaniche in quel genere di giochi, ogni partita genera una trama unica. Nei giochi su binario penso che del resto non avrebbe nemmeno senso implementare qualcosa del genere, se non sono survival magari saranno avventure, ma sempre openworld completi con una progressione non lineare.

[mmorselli]

Originariamente inviato da mozzarello

Non so quanto andrebbe a costare chiaro, ma quello potrebbe diventare davero interessante.

Ma in realtà penso che presto la vedremo in locale questa roba, chiaramente non su un gioco che vuole raggiungere 10 milioni di giocatori, perché almeno una GPU da 16GB ti serve, ma i modellini piccoli quantizzati ternari fanno paura oggi, sarebbero assolutamente in grado di dare vita ad un personaggio interessante.

Poco fa ho messo su un llm free lo screen di uno spartito musicale per chiedere una cosa sul brano, ma lo screen veniva da emulatore C64. Mi ha detto quello che volevo sapere e alla fine ha aggiunto:

"Ma quello screen? Mi sembra che venga da qualche software retro, bellissimo, cos'è?"

E in quel momento ero combattuto, perché lo so che non gliene frega nulla, e non ha senso rispondere agli LLM se ti hanno già detto tutto quello che vuoi sapere... Ma non ho resistito, gli ho detto che veniva dal C64, e si è messo a fare tutto un discorso sul perché quel pezzo era perfetto per il SID che aveva polifonia a tre voci...

... fa solo engagement, ma come lo fa bene. Applicato ad un gioco ti fa fare notte fonda.

[mozzarello]

Originariamente inviato da mmorselli

Ma in realtà penso che presto la vedremo in locale questa roba, chiaramente non su un gioco che vuole raggiungere 10 milioni di giocatori, perché almeno una GPU da 16GB ti serve, ma i modellini piccoli quantizzati ternari fanno paura oggi, sarebbero assolutamente in grado di dare vita ad un personaggio interessante.

Poco fa ho messo su un llm free lo screen di uno spartito musicale per chiedere una cosa sul brano, ma lo screen veniva da emulatore C64. Mi ha detto quello che volevo sapere e alla fine ha aggiunto:

"Ma quello screen? Mi sembra che venga da qualche software retro, bellissimo, cos'è?"

E in quel momento ero combattuto, perché lo so che non gliene frega nulla, e non ha senso rispondere agli LLM se ti hanno già detto tutto quello che vuoi sapere... Ma non ho resistito, gli ho detto che veniva dal C64, e si è messo a fare tutto un discorso sul perché quel pezzo era perfetto per il SID che aveva polifonia a tre voci...

... fa solo engagement, ma come lo fa bene. Applicato ad un gioco ti fa fare notte fonda.

Non so quanto sia fattibile un dialogo alla LLM in un videogioco però, visto che o vai di voce o difficile uno giochi con la tastiera a parte una nicchia pcista ormai (io ho solo PC, ma se posso gioco col controller). Per me resta molto interessante invece l'approccio agentico degli NPC per creare una reale Radiant AI che funzioni. O a un co-op con IA che sembri umana anche. Alla fine,. come abbiamoi discusso anche io e ChatGPT poco fa, si farebbe alla stessa maniera di qualsiasi altro agente, solo che i file md descriverebbero mondo di gioco, meccaniche e personalità, mentre un sistema simil MCP permetterebbe all'agente di comunicare direttamente con l'engine di gioco.

Ha proprio scritto: "allo stato attuale della tecnologia, sarebbe già possibile realizzare un videogioco in cui gli NPC principali sono agenti IA autonomi, capaci di dialogare, prendere decisioni, muoversi nel mondo e modificare il corso degli eventi attraverso le proprie azioni." poi un papiro a seguire per spiegare come, leggendo anche il PDF del brevetto MS.

Resta il problema di quante risorse sarebbero necessarie i locale o di quanto costerebbe in token su un server.

[mmorselli]

Originariamente inviato da mozzarello

Non so quanto sia fattibile un dialogo alla LLM in un videogioco però, visto che o vai di voce o difficile uno giochi con la tastiera a parte una nicchia pcista ormai (io ho solo PC, ma se posso gioco col controller).

Io gioco spesso online con amici, per cui cuffia e microfono sono normali per me, poi non è che gli devo parlare della mia vita, sei in gioco, parli di cose relative al mondo di gioco. "prendi questo", "fai quello", "aiutami a fare questa cosa"... Ma so che mi scapperebbe anche un "visto che figata questo?", spendo che non stiamo realmente condividendo un'emozione.

Non adatto agli LLM in cloud per via dei costi, pensa solo al fatto che si baserebbe sugli screenshot per capire il mondo di gioco, pensa a quanti token solo per quelli.

[Vindicator]

vi ricordate i Mass effect 2 e Mass effect 3
immaginateli con questo sistema e le locazioni che potrebbe generare una roba da brivido
ci gioco ancora tutt'ora ma moddati

[mozzarello]

Originariamente inviato da mmorselli

Io gioco spesso online con amici, per cui cuffia e microfono sono normali per me, poi non è che gli devo parlare della mia vita, sei in gioco, parli di cose relative al mondo di gioco. "prendi questo", "fai quello", "aiutami a fare questa cosa"... Ma so che mi scapperebbe anche un "visto che figata questo?", spendo che non stiamo realmente condividendo un'emozione.

Non adatto agli LLM in cloud per via dei costi, pensa solo al fatto che si baserebbe sugli screenshot per capire il mondo di gioco, pensa a quanti token solo per quelli.

In realtà non dovrebbe basarsi sugli screenshot, ma dovrebbe essere un sistema in cui gli agenti ragionano interagiscono col motore di gioco.

Diciamo che l'aspetto strategico, tattico e esecutivo di un giocatore che viene fatto col cervello e poi con le mani e il sistema di controllo, andrebbe riprodotto per un NPC usando LLM per parte strategico-tattica, mentre l'engine si occupa della parte esecutiva, dato che ha una conoscenza totale del mondo di gioco.

[mmorselli]

Originariamente inviato da mozzarello

In realtà non dovrebbe basarsi sugli screenshot, ma dovrebbe essere un sistema in cui gli agenti ragionano interagiscono col motore di gioco.

Non avrebbe senso, perché il motore di gioco deve descrivere la scena perché possa essere compresa, e il modo con cui un gioco descrive la scena è il rendering.

Magari un LLM potrebbe ricavarlo anche dagli stati interni del gioco, tutte le mesh, oggetti, variabili, routine che stanno girando, ecc... ma ci metterebbe ore. Un umano ci metterebbe giorni, un LLM ore.

E' la stessa cosa che fanno con il web, potrebbero leggere il codice html, css e javascript per capire cosa c'è in una pagina, ma sarebbe pesantissimo, mentre con lo screenshot fa l'analisi semantica del risultato "qui c'è un pulsante, sopra c'è un campo con scritto nome, ecc..."

[mozzarello]

Originariamente inviato da mmorselli

Non avrebbe senso, perché il motore di gioco deve descrivere la scena perché possa essere compresa, e il modo con cui un gioco descrive la scena è il rendering.

Magari un LLM potrebbe ricavarlo anche dagli stati interni del gioco, tutte le mesh, oggetti, variabili, routine che stanno girando, ecc... ma ci metterebbe ore. Un umano ci metterebbe giorni, un LLM ore.

E' la stessa cosa che fanno con il web, potrebbero leggere il codice html, css e javascript per capire cosa c'è in una pagina, ma sarebbe pesantissimo, mentre con lo screenshot fa l'analisi semantica del risultato "qui c'è un pulsante, sopra c'è un campo con scritto nome, ecc..."

No, non sarebbe mai fisicamente possibile perché un gioco deve girare ad almeno 30fps, meglio 60fps, io gioco a 100fps e non puoi fare un sistema che in tempo reale riceve 30 screenshot al secondo e reagisce di conseguenza, ma anche ne ricevesse uno al secondo, i tempi dell' LLM ad analizzare e reagire non sarebbero compatibili con un videogioco.

Diverso quello che si legge invece nel brevetto MS che contempla agenti controllati da modelli generativi che possono non soltanto conversare con il giocatore, ma anche eseguire azioni programmatiche come creare oggetti, proporre missioni e modificare elementi del mondo di gioco

L'architettura prevede tre componenti distinti:
Un controller dell'esperienza, che gestisce la narrazione e l'evoluzione degli eventi.
Un controller della memoria, che conserva e seleziona le informazioni rilevanti.
Un controller degli NPC, che gestisce il comportamento dei personaggi e coordina le loro azioni.
Il brevetto descrive anche la possibilità di generare nuovi contenuti narrativi in base alle interazioni del giocatore e alle sue reazioni.

[Notturnia]

vivere la storia di un libro che stiamo scrivendo nella nostra mente sarebbe favoloso.. e credo che richieda una capacità computazionale mostruosa per viverlo "in tempo reale" .. ma è sicuramente un sogno per "domani"

[mmorselli]

Originariamente inviato da Notturnia

vivere la storia di un libro che stiamo scrivendo nella nostra mente sarebbe favoloso.. e credo che richieda una capacità computazionale mostruosa per viverlo "in tempo reale" .. ma è sicuramente un sogno per "domani"

Non so se "viverlo" intendo alla Matrix, qui più che un problema di potenza c'è un problema d'interfaccia, non abbiamo realmente idea su come inviare cose del genere al cervello, però se ti accontenti del monitor ci sono già modelli che creano mondi virtuali in tempo reale da prompt e mantengono coerenza per ore, puoi generare mondi, fare accadere cose tipo "adesso qui scende un drago e si porta via il ciclista"... alcuni sono navigabili come videogiochi e anche interattivi.

Si chiamano World Model, ne esce uno nuovo tutte le settimane che sbaraglia i precedenti, ne ha uno anche google... qualche mese fa rimanevano coerenti per pochi minuti, gli ultimi dicono che possono andare avanti senza limiti

Ne escono talmente tanti che mi scordo i nomi, tipo questi comunque

https://decart.ai/oasis

https://odyssey.systems/introducing-odyssey-2

[mmorselli]

Originariamente inviato da mozzarello

No, non sarebbe mai fisicamente possibile perché un gioco deve girare ad almeno 30fps, meglio 60fps, io gioco a 100fps e non puoi fare un sistema che in tempo reale riceve 30 screenshot al secondo e reagisce di conseguenza, ma anche ne ricevesse uno al secondo, i tempi dell' LLM ad analizzare e reagire non sarebbero compatibili con un videogioco.

Non hai assolutamente bisogno di andare a 30 fps per comprendere cosa succede in una scena, anche il tuo cervello non elabora ciò che vede a 30 fps, ma uno al secondo è assolutamente alla portata di un modello multimodale, non confondere il ragionamento con modelli mostruosamente grandi come Opus o Astra e i modellini leggeri pensati per compiti specifici. Basta che pensi alla guida autonoma, lì si usano modelli che devono rispondere in millisecondi.

Ma le cose che ti sto dicendo già si fanno, non sono ipotesi, ci sono già modelli capaci di giocare ad un videogioco semplicemente prendendo screenshot dello schermo, cosa che per altro non fanno in 4K, ma a risoluzioni molto più basse, tanto devono capire la semantica, non il dettaglio, un tavolo è un tavolo in 4K come in 720p

Quello che manca è un prodotto commerciale fatto e finito, un po' perché fare giochi richiede tempo e budget, un po' perché appunto se ti affidi ad un modello in cloud il gioco ha un costo costante, che i giocatori non sono disposti a sostenere.

[Notturnia]

Originariamente inviato da mmorselli

Non so se "viverlo" intendo alla Matrix, qui più che un problema di potenza c'è un problema d'interfaccia, non abbiamo realmente idea su come inviare cose del genere al cervello, però se ti accontenti del monitor ci sono già modelli che creano mondi virtuali in tempo reale da prompt e mantengono coerenza per ore, puoi generare mondi, fare accadere cose tipo "adesso qui scende un drago e si porta via il ciclista"... alcuni sono navigabili come videogiochi e anche interattivi.

Si chiamano World Model, ne esce uno nuovo tutte le settimane che sbaraglia i precedenti, ne ha uno anche google... qualche mese fa rimanevano coerenti per pochi minuti, gli ultimi dicono che possono andare avanti senza limiti

Ne escono talmente tanti che mi scordo i nomi, tipo questi comunque

https://decart.ai/oasis

https://odyssey.systems/introducing-odyssey-2

no aspetta, per viverlo non intendevo così alla matrix.. sono uno che leggeva libri una volta.. non mi serve avere un cavo attacco in testa per poter vedere una storia che mi si srotola davanti.. anche solo parlare e avere interattività con un "mondo in un monitor" sarebbe grandioso
la VR stile "Ready Player One" sarebbe finalmente l'implementazione che molti sognerebbero ma non credo che ci siamo vicini ad avere una realtà immersiva di quella dimensione e qualità ma credo che una parte dell'umanità stia cercando di creare quella gabbia dorata li..

a sentire Bill Gates questa IA è fatta dai ricchi per i ricchi e non per gli scopi che la plebaglia crede.. e se guardiamo all'evoluzione di radio->tv->internet mi pare logico pensare che internet+IA non possa fare altro che completare la sostituzione della realtà con qualcosa "gestita" da altri ma così bella che le droghe classiche siano inutili

a vedere le greggi di pecore che escono dalle scuole con la testa persa dentro gli smartphone uno penserebbe che siano strumenti di controllo e non più "cose" utili per uno scopo scelto dal proprietario dell'oggetto comprato..

[mozzarello]

Originariamente inviato da mmorselli

Non hai assolutamente bisogno di andare a 30 fps per comprendere cosa succede in una scena, anche il tuo cervello non elabora ciò che vede a 30 fps, ma uno al secondo è assolutamente alla portata di un modello multimodale, non confondere il ragionamento con modelli mostruosamente grandi come Opus o Astra e i modellini leggeri pensati per compiti specifici. Basta che pensi alla guida autonoma, lì si usano modelli che devono rispondere in millisecondi.

Ma le cose che ti sto dicendo già si fanno, non sono ipotesi, ci sono già modelli capaci di giocare ad un videogioco semplicemente prendendo screenshot dello schermo, cosa che per altro non fanno in 4K, ma a risoluzioni molto più basse, tanto devono capire la semantica, non il dettaglio, un tavolo è un tavolo in 4K come in 720p

Quello che manca è un prodotto commerciale fatto e finito, un po' perché fare giochi richiede tempo e budget, un po' perché appunto se ti affidi ad un modello in cloud il gioco ha un costo costante, che i giocatori non sono disposti a sostenere.

A parte che a meno di 60fps io manco gioco perché mi dà fastido, ma quello che scrivi ha senso se l'agente deve essere il giocatore, allora sì che deve fare esattamente come il giocatore: guardare lo schermo e "premere" dei comandi, non se deve essere un personaggio del gioco. Non avrebbe proprio screenshot a cui attingere, la grafica esiste solo nel cono visivo del giocatore.

A meno che tu non intenda giochi multiplayer tra agenti ognuno col suo PC che vede dal suo punto di vista, ma non è quello che Microsoft pensa di fare col suo brevetto e manco quello che ho suggerito io.

[mmorselli]

Originariamente inviato da Notturnia

anche solo parlare e avere interattività con un "mondo in un monitor" sarebbe grandioso

Per cui questi sistemi ci sono già, modelli che creano in forma di video, in tempo reale, tutto quello che descrivi.

[Notturnia]

Originariamente inviato da mmorselli

Per cui questi sistemi ci sono già, modelli che creano in forma di video, in tempo reale, tutto quello che descrivi.

aspetta.. ho detto interattivi (o forse ho scordato di dirlo) io vorrei raccontare la storia stile dungeon master.. poi il resto lo deve inventare la LLM creando qualcosa che mi stupisca dentro.. sennò è bello lo stesso ma se manca la sorpresa nelle interazioni è meno coinvolgente
ma se ci sono già ben venga