NVIDIA, video in slow motion da riprese tradizionali grazie all'IA

NVIDIA, video in slow motion da riprese tradizionali grazie all'IA

La tecnologia di NVIDIA consente di convertire video tradizionali da 30 fps ad un massimo di 240 fps creando i fotogrammi intermedi per ottenere un risultato fluido

di pubblicata il , alle 14:01 nel canale Multimedia
NVIDIA
 

Per ottenere un video in slow-motion serve un numero molto sostenuto di fotogrammi al secondo: più vogliamo rallentare la ripresa rispetto all'originale, infatti, maggiore diventa il numero di fotogrammi necessario per creare l'effetto in maniera fluida. Con una frequenza insoddisfacente per i fotogrammi il video realizzato non è piacevole, fino a che il movimento non diventa troppo seghettato al punto da essere inguardabile. NVIDIA ha cercato di trovare una soluzione al problema, riuscendo a sfruttare l'intelligenza artificiale e il machine learning per creare i fotogrammi aggiuntivi che servono per ottenere una registrazione fluida anche con rallentamenti evidenti.

Una nuova ricerca del produttore di schede video utilizza il machine learning per convertire video da 30 fps in slow-motion da 240 fps con un risultato effettivamente molto convincente. In sostanza il sistema di intelligenza artificiale utilizza due fotogrammi vicini per creare quelli intermedi "seguendo" il movimento naturale degli oggetti fotogramma per fotogramma. La tecnologia consente naturalmente di effettuare anche video slow-motion estremi partendo da registrazioni già realizzate con un alto numero di fotogrammi al secondo.

Lo studio di NVIDIA potrebbe offrire dei vantaggi in ambito consumer, ad esempio per applicare l'effetto sulle riprese tradizionali effettuate con uno smartphone, anche se ha bisogno di un lavoro aggiuntivo da parte di un professionista per poter essere sfruttato su video commerciali di qualità. Uno dei vantaggi sui dispositivi mobile è l'abilitazione dello slow-motion senza pesare troppo sullo spazio di storage. Di seguito riportiamo la riflessione dei tecnici al lavoro sul progetto:

"Anche se è possibile registrare video a 240 fps sullo smartphone, produrre video ad alto frame rate è poco pratico visto che richiede grosse memorie e una potenza di calcolo molto elevata per un dispositivo mobile. Per queste ragioni e per molte altre è molto interessante l'approccio secondo cui riuscire a generare video slow-motion di alta qualità da video già esistenti".

L'approccio di NVIDIA ha però alcuni limiti, e fra quelli più evidenti c'è la necessità di "insegnare" all'algoritmo di deep learning come gestire ogni singola e specifica tipologia di elemento da "rallentare". Per farlo con una macchina in sbandata (l'esempio che possiamo vedere nel video), i tecnici hanno dovuto allenare il software con procedure che non sono alla portata di tutti i tipi di utenti. Il sistema inoltre non è capace di produrre un numero di frame intermedi illimitato, quindi senza dati di qualità il risultato finale potrebbe non essere efficace, con il sistema che potrebbe non intuire come gestire il movimento fra due o più elementi che si incontrano.

La tecnica del produttore è capace di generare fino ad un massimo di sette fotogrammi intermedi, più che soddisfacenti per creare uno slow-motion convincente e piuttosto "rallentato". La tecnologia di NVIDIA sembra inoltre più veloce e indubbiamente più rapida dei sistemi utilizzati oggi professionalmente per la realizzazione di slow-motion "fake", e grazie a questa caratteristica potremmo vederla implementata presto su smartphone, una volta che verrà resa disponibile per il grande pubblico.

Resta aggiornato sulle ultime offerte

Ricevi comodamente via email le segnalazioni della redazione di Hardware Upgrade sui prodotti tecnologici in offerta più interessanti per te

Quando invii il modulo, controlla la tua inbox per confermare l'iscrizione.
Leggi la Privacy Policy per maggiori informazioni sulla gestione dei dati personali

7 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
redeagle20 Giugno 2018, 14:52 #1
Artefatti a go-go sui contorni esattamente come capita con tutte le funzioni di interpolazione che tanto piacciono agli utenti delle tv moderne: una cosa che io proprio non digerisco e alla quale sono parecchio sensibile (molte persone neanche se ne accorgono).
Zenida20 Giugno 2018, 15:48 #2
Originariamente inviato da: redeagle
Artefatti a go-go sui contorni esattamente come capita con tutte le funzioni di interpolazione che tanto piacciono agli utenti delle tv moderne: una cosa che io proprio non digerisco e alla quale sono parecchio sensibile (molte persone neanche se ne accorgono).


Intendi l'effetto soap opera?
Io sul mio Panasonic ammetto di tenerlo attivo, ma posso scegliere tra: basso, medio e alto.
Fino a basso (o medio, adesso non ricordo), l'effetto non snatura per niente la ripresa e quindi l'ho impostato a quel livello lì, che in effetti da un buon risultato nelle scene veloci dove un sistema PAL (seppur HD) mostra tutta la sua debolezza.
redeagle20 Giugno 2018, 16:13 #3
Originariamente inviato da: Zenida
Intendi l'effetto soap opera?


Quello è un altro aspetto che non mi piace, ma mi riferivo proprio agli artefatti, a quella roba impastata che si vede sui contorni esterni degli oggetti in movimento (inevitabili dato che l'algoritmo si deve inventare le informazioni).
fraussantin20 Giugno 2018, 16:41 #4
Tutto bello , ma ha poco a che fare con una IA di cui sti sta perdendo il senso ..
garion8720 Giugno 2018, 18:42 #5
Twixtor, sei tu?
danielsaaan20 Giugno 2018, 22:52 #6
quoto @redeagle. faccio video editing e il problema resta se gli artefatti son così visibili. serve una vera camera che fa slowmotion alla fonte.
+Benito+21 Giugno 2018, 09:21 #7
il problema in futuro è meno rilevante, riguarda il presente ed il passato. Non puoi ri-girare dei video fatti a pochi fps, per cui ben venga questa tecnologia. Non mi soprprenderei se in qualche anno di sviluppo entro certi limiti i risultati di un filmato ad alta frequenza e a bassa interpolata siano indistinguibili da un occhio non allenato. Gestire un flusso di dati nativo a 240 fps 4K richiede uno storage abnorme rispetto allo stesso segnale a 50 fps. Se poi si potesse lavorare via software (magari anche in tempo reale in futuro) per "rallentare" il replay, sarebbe un risparmio gigantesco a livello mondiale.

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^