Da NVIDIA nuova tecnica IA per ricostruire le immagini danneggiate

Da NVIDIA nuova tecnica IA per ricostruire le immagini danneggiate

NVIDIA ha presentato un metodo di deep learning in grado di modificare le immagini o ricostruire immagini danneggiate o con pixel mancanti

di pubblicata il , alle 10:31 nel canale Schede Video
NVIDIA
 

Il metodo proviene dal team di ricercatori guidato da Guilin Liu ed è basato sulle tecniche di deep learning sulle quali NVIDIA lavora ormai da diverso tempo. Può essere applicato anche rimuovendo manualmente parti delle immagini e poi lasciando al programma il compito di ricostruirle.

Il metodo, che esegue un processo chiamato "image inpainting", potrebbe essere implementato all'interno di un software di fotoritocco per rimuovere contenuti indesiderati e lasciare all'intelligenza artificiale l'onere di coprire le parti mancanti.

"Il nostro modello è in grado di gestire efficacemente parti mancanti di qualsiasi forma, dimensione o distanza dai bordi dell'immagine. I precedenti approcci di deep learning si sono concentrati su regioni rettangolari situate attorno al centro dell'immagine e spesso si basano su dispendiose post-elaborazioni", affermano i ricercatori di NVIDIA nella loro documentazione tecnica. "Inoltre, il nostro modello è in grado di gestire buchi di dimensioni crescenti".

Per il training della rete neurale alla base della tecnologia, il team di ricercatori ha generato 55,116 maschere formate da strisce casuali e disegni di varie forme e dimensioni. La rete neurale è gestita attraverso il framework PyTorch con accelerazione cuDNN tramite GPU NVIDIA Tesla V100. Il training è stato realizzato applicando le maschere ai dataset ImageNet, Places2 e CelebA-HQ.

NVIDIA Deep Learning

Durante la fase di training, alle immagini dei dataset vengono sottratte delle parti e poi vengono applicate le maschere per far capire al sistema come riempire i vuoti. I ricercatori hanno affermato che i metodi di deep learning esistenti vanno in crisi perché gli output per i pixel mancanti dipendono necessariamente dal valore dell'input che deve essere fornito alla rete neurale. Per risolvere questo problema, il team di NVIDIA ha sviluppato un metodo che garantisce che l'output per i pixel mancanti non dipenda dal valore di input fornito per quei pixel. Il metodo viene definito "convoluzione parziale" come spiegato qui.

15 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
zappy25 Aprile 2018, 11:54 #1
non ricostruisce un bel niente. inventa di sana pianta.
*Pegasus-DVD*25 Aprile 2018, 13:21 #2
spettacolo
calabar25 Aprile 2018, 13:22 #3
Ovvio. Infatti negli esempi è utilizzato per ripulire le fotografie da elementi estranei: una volta rimossi l'IA ricostruisce l'immagine senza di essi.

Ho delle vecchie foto rovinate, che a suo tempo avevo un po' ripristinato con un programma di fotoritocco: risultato accettabile ma non buono (e comunque ottenuto anch'esso "inventando", e che comunque ha richiesto parecchio tempo: con un approccio del genere avrei ottenuto ottimi risultati in un attimo.

Ora vorrei capire se noi utenti comuni possiamo avere accesso a questa tecnologia o rimarrà una demo giusto per dire "guardate cosa possiamo fare".
pabloski25 Aprile 2018, 16:03 #4
Originariamente inviato da: zappy
non ricostruisce un bel niente. inventa di sana pianta.


Ma infatti i modelli di deep learning quello sono, cioè degli interpolatori stocastici. Prendono quelle che hanno imparato e lo applicano ai casi che gli vengono sottoposti.

In base ai tratti del volto, colore dei capelli e altri parametri, decidono come plasmare gli elementi per completare l'immagine.

L'inghippo sta nel fatto che i media hanno fatto credere che invece si tratti di divinità o di oracoli onniscienti.
Donagh25 Aprile 2018, 17:38 #5
a me la modella sembra SLOTH del film I GOONIES
zappy25 Aprile 2018, 17:53 #6
Originariamente inviato da: calabar
Ovvio. Infatti negli esempi è utilizzato per ripulire le fotografie da elementi estranei: una volta rimossi l'IA ricostruisce l'immagine senza di essi.

mette gli stessi occhi ad una donna giovane ed a un signore anziano...
INVENTA, non ricostruisce...
zappy25 Aprile 2018, 17:54 #7
Originariamente inviato da: pabloski
Ma infatti i modelli di deep learning quello sono, cioè degli interpolatori stocastici. ...
L'inghippo sta nel fatto che i media hanno fatto credere che invece si tratti di divinità o di oracoli onniscienti.


This
calabar25 Aprile 2018, 18:10 #8
Originariamente inviato da: zappy
mette gli stessi occhi ad una donna giovane ed a un signore anziano...
INVENTA, non ricostruisce...

E cosa ti aspettavi, che calcolasse i riflessi nell'ambiente (che manco CSI...) per ottenere l'immagine originale? O che andasse in giro per la rete ad hackare il profilo facebook della tipa per recuperare gli occhi giusti? Beh questo magari in futuro...

Come già ho scritto prima, è ovvio che ricostruisca la foto mettendoci del suo, ma guarda il risultato: la ricostruzione è molto buona nonostante le cancellazioni importanti, immagina cosa si potrebbe fare in altri contesti.
bdave7725 Aprile 2018, 18:39 #9
Originariamente inviato da: calabar
E cosa ti aspettavi, che calcolasse i riflessi nell'ambiente (che manco CSI...) per ottenere l'immagine originale? O che andasse in giro per la rete ad hackare il profilo facebook della tipa per recuperare gli occhi giusti? Beh questo magari in futuro...

Come già ho scritto prima, è ovvio che ricostruisca la foto mettendoci del suo, ma guarda il risultato: la ricostruzione è molto buona nonostante le cancellazioni importanti, immagina cosa si potrebbe fare in altri contesti.

In realtà almeno in questo caso specifico la IA avrebbe potuto osservare l’altro occhio rimasto e replicarlo. La cancellazione è stata fatta in due tempi e l’IA ha semplicemente applicato il proprio modello senza apprendere dall’immagine globale.
Questo almeno IMHO.
franciccio7625 Aprile 2018, 18:52 #10
L'unica cosa che non andava ritoccato è il viso di Ernest Borgnine!!!😠😠😠

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^