Da NVIDIA nuova tecnica IA per ricostruire le immagini danneggiate
NVIDIA ha presentato un metodo di deep learning in grado di modificare le immagini o ricostruire immagini danneggiate o con pixel mancanti
di Rosario Grasso pubblicata il 25 Aprile 2018, alle 10:31 nel canale Schede VideoNVIDIA
Il metodo proviene dal team di ricercatori guidato da Guilin Liu ed è basato sulle tecniche di deep learning sulle quali NVIDIA lavora ormai da diverso tempo. Può essere applicato anche rimuovendo manualmente parti delle immagini e poi lasciando al programma il compito di ricostruirle.
Il metodo, che esegue un processo chiamato "image inpainting", potrebbe essere implementato all'interno di un software di fotoritocco per rimuovere contenuti indesiderati e lasciare all'intelligenza artificiale l'onere di coprire le parti mancanti.
"Il nostro modello è in grado di gestire efficacemente parti mancanti di qualsiasi forma, dimensione o distanza dai bordi dell'immagine. I precedenti approcci di deep learning si sono concentrati su regioni rettangolari situate attorno al centro dell'immagine e spesso si basano su dispendiose post-elaborazioni", affermano i ricercatori di NVIDIA nella loro documentazione tecnica. "Inoltre, il nostro modello è in grado di gestire buchi di dimensioni crescenti".
Per il training della rete neurale alla base della tecnologia, il team di ricercatori ha generato 55,116 maschere formate da strisce casuali e disegni di varie forme e dimensioni. La rete neurale è gestita attraverso il framework PyTorch con accelerazione cuDNN tramite GPU NVIDIA Tesla V100. Il training è stato realizzato applicando le maschere ai dataset ImageNet, Places2 e CelebA-HQ.
Durante la fase di training, alle immagini dei dataset vengono sottratte delle parti e poi vengono applicate le maschere per far capire al sistema come riempire i vuoti. I ricercatori hanno affermato che i metodi di deep learning esistenti vanno in crisi perché gli output per i pixel mancanti dipendono necessariamente dal valore dell'input che deve essere fornito alla rete neurale. Per risolvere questo problema, il team di NVIDIA ha sviluppato un metodo che garantisce che l'output per i pixel mancanti non dipenda dal valore di input fornito per quei pixel. Il metodo viene definito "convoluzione parziale" come spiegato qui.
15 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - infoHo delle vecchie foto rovinate, che a suo tempo avevo un po' ripristinato con un programma di fotoritocco: risultato accettabile ma non buono (e comunque ottenuto anch'esso "inventando", e che comunque ha richiesto parecchio tempo: con un approccio del genere avrei ottenuto ottimi risultati in un attimo.
Ora vorrei capire se noi utenti comuni possiamo avere accesso a questa tecnologia o rimarrà una demo giusto per dire "guardate cosa possiamo fare".
Ma infatti i modelli di deep learning quello sono, cioè degli interpolatori stocastici. Prendono quelle che hanno imparato e lo applicano ai casi che gli vengono sottoposti.
In base ai tratti del volto, colore dei capelli e altri parametri, decidono come plasmare gli elementi per completare l'immagine.
L'inghippo sta nel fatto che i media hanno fatto credere che invece si tratti di divinità o di oracoli onniscienti.
mette gli stessi occhi ad una donna giovane ed a un signore anziano...
INVENTA, non ricostruisce...
L'inghippo sta nel fatto che i media hanno fatto credere che invece si tratti di divinità o di oracoli onniscienti.
This
INVENTA, non ricostruisce...
E cosa ti aspettavi, che calcolasse i riflessi nell'ambiente (che manco CSI...) per ottenere l'immagine originale? O che andasse in giro per la rete ad hackare il profilo facebook della tipa per recuperare gli occhi giusti? Beh questo magari in futuro...
Come già ho scritto prima, è ovvio che ricostruisca la foto mettendoci del suo, ma guarda il risultato: la ricostruzione è molto buona nonostante le cancellazioni importanti, immagina cosa si potrebbe fare in altri contesti.
Come già ho scritto prima, è ovvio che ricostruisca la foto mettendoci del suo, ma guarda il risultato: la ricostruzione è molto buona nonostante le cancellazioni importanti, immagina cosa si potrebbe fare in altri contesti.
In realtà almeno in questo caso specifico la IA avrebbe potuto osservare l’altro occhio rimasto e replicarlo. La cancellazione è stata fatta in due tempi e l’IA ha semplicemente applicato il proprio modello senza apprendere dall’immagine globale.
Questo almeno IMHO.
Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".