OpenAI, l'IA che clona le voci è pronta, ma la società ha paura a rilasciarla

OpenAI, l'IA che clona le voci è pronta, ma la società ha paura a rilasciarla

Voice Engine può clonare qualsiasi voce da uno spezzone audio di 15 secondi. La resa è impressionante e OpenAI ha qualche dubbio sugli usi impropri della tecnologia

di pubblicata il , alle 15:31 nel canale Web
OpenAI
 

OpenAI ha annunciato Voice Engine, un nuovo modello di intelligenza artificiale destinato alla sintesi vocale e alla generazione di voci sintetiche in grado di replicare voci realmente esistenti a partire da brevi spezzoni audio. La società ha rilasciato sul proprio sito alcuni campioni che dimostrano le capacità della nuova tecnologia, che consente inoltre di ottenere un parlato da un testo scritto.

Dagli spezzoni condivisi da OpenAI si evince quanto le voci sintetiche siano davvero estremamente simili a quelle originali, risultando di fatto indistinguibili anche ad un orecchio più che attento.

La società aveva pianificato il lancio di un programma pilota per consentire agli sviluppatori di iscriversi all'API di Voice Engine all'inizio di marzo, ma al momento i piani di rilascio sono stati temporaneamente sospesi a seguito di una serie di considerazioni interne sui risvolti e sulle implicazioni etiche di questa tecnologia.

"In linea con il nostro approccio alla sicurezza dell'intelligenza artificiale e con i nostri impegni volontari, stiamo scegliendo di presentare in anteprima ma di non rilasciare su larga scala questa tecnologia in questo momento. Speriamo che questa anteprima di Voice Engine ne sottolinei il potenziale e motivi anche la necessità di rafforzare la resilienza della società contro le sfide poste da modelli generativi sempre più convincenti" afferma la società.

OpenAI indica le possibili applicazioni in grado di trarre vantaggio da questo nuovo modello IA, come ad esempio la possibilità di fornire assistenza alla lettura attraverso voci dal suono naturale, consentire una portata globale ai creatori traducendo contenuti preservando gli accenti nativi, supportare le persone non verbali con opzioni vocali personalizzate e assistere i pazienti nel recuperare la propria voce dopo condizioni di disturbo della parola.

Ma è chiaro che l'accessibilità globale a questa tecnologia presenta rischi di notevole portata permettendo di fatto di clonare qualsiasi voce di cui si dispongano 15 secondi di registrazione, con l'elevata possibilità (e probabilità) di uso improprio. Non solo truffe e raggiri telefonici, com'è automatico immaginare, ma anche azioni criminose più sofisticate: alcuni ricercatori hanno infatti già dimostrato come, in generale, le più avanzate tecnologie di sintesi vocale possono consentire di violare quei sistemi biometrici che si basano proprio sull'autenticazione vocale.

OpenAI stessa riconosce che la tecnologia potrebbe causare "problemi" se rilasciata su larga scala, motivo per il quale sta approntando una serie di regole che almeno inizialmente dovrebbero consentire di arginare l'uso improprio di Voice Engine: nei termini di utilizzo, ad esempio, è fatto divieto di rappresentare "un altro individuo o organizzazione senza consenso o diritto legale", viene richiesto di acquisire il consenso informato delle persone le cui voci vengono clonate e di esplicitare chiaramente quali voci sono generate dall'IA. Un aspetto ancor più interessante, però, è l'impiego di una particolare "filigrana vocale" che Voice Engine inserirà in ogni campione, per aiutare nel tracciamento delle voci sintetiche.

"Stiamo adottando un approccio cauto e informato verso un rilascio più ampio a causa del potenziale uso improprio della voce sintetica. Speriamo di avviare un dialogo sull'impiego responsabile delle voci sintetiche e su come la società può adattarsi a queste nuove capacità. Sulla base di queste conversazioni e dei risultati di questi test su piccola scala, prenderemo una decisione più informata su se e come implementare questa tecnologia su larga scala" ha sottolineato OpenAI.

39 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
demon7702 Aprile 2024, 15:33 #1
La società aveva pianificato il lancio di un programma pilota per consentire agli sviluppatori di iscriversi all'API di Voice Engine all'inizio di marzo, ma al momento i piani di rilascio sono stati temporaneamente sospesi a seguito di una serie di considerazioni interne sui risvolti e sulle implicazioni etiche di questa tecnologia.

Ma dai.
Non vedo davvero cosa mai potrebbe andare storto.

Questa tecnologia ha praticmante SOLO risvolti negativi.
E' come regalare una set di armi cariche ai delinquenti...
Cosa mi fa ridere? Che se non lo fanno loro di Open AI domani semplicmente lo farà qualcun altro.

Chiudo il post con la solita conclusione: la IA ci fotterà tutti.
mally02 Aprile 2024, 15:34 #2
ovviamente i dubbi sono venuti dopo averla sviluppata e terminata...
djmatrix61902 Aprile 2024, 15:58 #3
Originariamente inviato da: demon77
Cosa mi fa ridere? Che se non lo fanno loro di Open AI domani semplicmente lo farà qualcun altro.

Chiudo il post con la solita conclusione: la IA ci fotterà tutti.


Esattamente, completamente d'accordo.....
pengfei02 Aprile 2024, 15:59 #4
Originariamente inviato da: demon77
Ma dai.
Non vedo davvero cosa mai potrebbe andare storto.

Questa tecnologia ha praticamente SOLO risvolti negativi.


Si potrebbe implementare una segreteria telefonica che genera un messaggio in automatico secondo l'agenda dell'utente, ad esempio dicendo quando richiamare o robe così, il tutto con la voce clonata, questo è progresso!
calabar02 Aprile 2024, 16:01 #5
Se fanno il telefono che risponde per conto tuo alle telefonate commerciali, li stanca al telefono e non accetta nulla, diventa la tecnologia antirompiscatole definitiva!
demon7702 Aprile 2024, 16:09 #6
Originariamente inviato da: calabar
Se fanno il telefono che risponde per conto tuo alle telefonate commerciali, li stanca al telefono e non accetta nulla, diventa la tecnologia antirompiscatole definitiva!


OPPURE clonano la tua voce facendoti un paio di telefonate dove ti fanno parlare giusto 10 secondi e poi grazie alla AI ti fanno dire letteralmente il cazzo che vogliono facendoti accettare contratti telefonici di utenze, telco ecc.
Ma giusto per dirne uno eh.

Toppissimo anche per le truffe ad anziani e/o categorie deboli dove sta volta non sarà più il tizio amico del figlio/nipote a dire che c'è una emergenza e che servono tremila euro subito ma gli passerà il telefono dove sarà proprio la viva voce del figlio/nipote a dirgli piangendo che bisogna agire subito!

Lo spasso poi in realtà aziendali e/o amministrative dove si verrà contattati direttamente dal direttore generale che ti impatisce ordini perentori da eseguire subito altrimenti ti licenzia.
io78bis02 Aprile 2024, 16:27 #7
Originariamente inviato da: demon77
La società aveva pianificato il lancio di un programma pilota per consentire agli sviluppatori di iscriversi all'API di Voice Engine all'inizio di marzo, ma al momento i piani di rilascio sono stati temporaneamente sospesi a seguito di una serie di considerazioni interne sui risvolti e sulle implicazioni etiche di questa tecnologia.

Ma dai.
Non vedo davvero cosa mai potrebbe andare storto.

Questa tecnologia ha praticmante SOLO risvolti negativi.
E' come regalare una set di armi cariche ai delinquenti...
Cosa mi fa ridere? Che se non lo fanno loro di Open AI domani semplicmente lo farà qualcun altro.

Chiudo il post con la solita conclusione: la IA ci fotterà tutti.


Pensa anche solo alla famosa truffa della chiamata all'anziano del finto nipote che chiede soldi. Ora anche la voce telefonica sembrerà del nipote.
io78bis02 Aprile 2024, 16:32 #8
Che teste di legno. Sviluppano e poi si pongono i problemi etici. Sicuramente si preoccuperanno di proteggere in qualche modo il timbro vocale del politico/personaggio famoso di turno senza soffermarsi sui possibili impatti per la gente comune.

Ormai lo sviluppo del IA dev'essere non regolamentato ma supervisionato da enti con livelli di sicurezza altissimi quasi tipo armi nucleari perché è quella la potenza che stanno assumendo.

Non è allarmismo è semplicemente la realtà o il futuro prossimo (2 anni)
djmatrix61902 Aprile 2024, 16:44 #9
Originariamente inviato da: io78bis
Non è allarmismo è semplicemente la realtà o il futuro prossimo (2 anni)


2 anni?
Su Instagram già girano i reel con i personaggi famosi che dicono cose mai dette realmente, con la stessa voce.
mally02 Aprile 2024, 16:50 #10
ci sono canali con discorsi di politici deceduti tradotti in italiano con la voce e il timbro della versione originale...

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^