La Gioconda che rappa grazie a Microsoft. Con VASA-1 il deepfake è servito

Microsoft ha presentato VASA-1, un nuovo modello di intelligenza artificiale (basato sul framework VASA) capace, partendo da una singola immagine e una clip audio, di creare un avatar realistico sotto forma di video.

VASA-1 può essere utilizzato anche per applicazioni in tempo reale, tanto che un video con un avatar generato dal modello potrebbe essere utilizzato, ad esempio, per una conversazione in videochiamata con Teams, FaceTime o altre tecnologie di live streaming. Secondo Microsoft, il lag è di soli 170 millisecondi.

VASA-1 richiede che l'utente scatti una foto, paragonabile a una foto tessera, e registri una traccia audio per creare un video animato in modo realistico che viene riprodotto in sincronia labiale con il file audio fornito.

I ricercatori di Microsoft spiegano che i precedenti modelli di intelligenza artificiale si sono specializzati principalmente sulla sincronizzazione del labiale, mentre le espressioni facciali, le emozioni, i movimenti della testa e altri dettagli sono stati trascurati.

VASA-1 dovrebbe offrire tutto questo e quindi essere in grado di creare volti animati realistici. I ricercatori lo dimostrano con una selezione di brevi video sul sito web del progetto.

Secondo Microsoft, VASA-1 può produrre video con una risoluzione di 512 x 512 pixel e 45 FPS in elaborazione offline o in modalità online a 40 FPS quasi in tempo reale con un ritardo iniziale di soli 170 ms. I ricercatori hanno utilizzato un PC desktop con una NVIDIA GeForce RTX 4090 per le loro dimostrazioni.

La durata del video generato dipende dalla traccia audio inserita, ma grazie alla bassa latenza può anche essere importato in tempo reale per un live streaming. Al posto del proprio volto, i partecipanti vedono quindi un avatar generato da VASA-1.

VASA-1 offre all'utente una serie di controlli per stabilire, ad esempio, la direzione degli occhi, l'orientamento della testa, l'umore dell'avatar creato o la distanza della testa dalla telecamera virtuale. VASA-1 può anche creare personaggi animati o dare vita a personaggi come la Gioconda, sebbene il modello non sia stato addestrato con dati appropriati. Anche lingue diverse dall'inglese possono essere animate con la sincronizzazione del labiale.

I ricercatori di Microsoft sottolineano che, sebbene il modello AI non sia stato creato per ingannare altre persone, potrebbe sicuramente essere utilizzato a tale scopo, ad esempio imitando un'altra persona usando una foto. Ad eccezione della Gioconda, i video dimostrativi di Microsoft hanno usato solo immagini generate dall'intelligenza artificiale utilizzando StyleGAN2 e DALL·E 3. 

Attualmente VASA-1 presenta limitazioni nella generazione di video poiché è necessario animare parti del busto a partire dal collo. Potrebbero verificarsi, inoltre, problemi con i capelli o i vestiti e talvolta le texture potrebbero essere generate in modo errato.