PDA

View Full Version : OpenAI, l'IA che clona le voci è pronta, ma la società ha paura a rilasciarla


Redazione di Hardware Upg
02-04-2024, 14:31
Link alla notizia: https://www.hwupgrade.it/news/web/openai-l-ia-che-clona-le-voci-e-pronta-ma-la-societa-ha-paura-a-rilasciarla_125807.html

Voice Engine può clonare qualsiasi voce da uno spezzone audio di 15 secondi. La resa è impressionante e OpenAI ha qualche dubbio sugli usi impropri della tecnologia

Click sul link per visualizzare la notizia.

demon77
02-04-2024, 14:33
La società aveva pianificato il lancio di un programma pilota per consentire agli sviluppatori di iscriversi all'API di Voice Engine all'inizio di marzo, ma al momento i piani di rilascio sono stati temporaneamente sospesi a seguito di una serie di considerazioni interne sui risvolti e sulle implicazioni etiche di questa tecnologia.

Ma dai.
Non vedo davvero cosa mai potrebbe andare storto. :fagiano:

Questa tecnologia ha praticmante SOLO risvolti negativi.
E' come regalare una set di armi cariche ai delinquenti...
Cosa mi fa ridere? Che se non lo fanno loro di Open AI domani semplicmente lo farà qualcun altro.

Chiudo il post con la solita conclusione: la IA ci fotterà tutti.

djmatrix619
02-04-2024, 14:58
Cosa mi fa ridere? Che se non lo fanno loro di Open AI domani semplicmente lo farà qualcun altro.

Chiudo il post con la solita conclusione: la IA ci fotterà tutti.

Esattamente, completamente d'accordo..... :doh:

pengfei
02-04-2024, 14:59
Ma dai.
Non vedo davvero cosa mai potrebbe andare storto. :fagiano:

Questa tecnologia ha praticamente SOLO risvolti negativi.


Si potrebbe implementare una segreteria telefonica che genera un messaggio in automatico secondo l'agenda dell'utente, ad esempio dicendo quando richiamare o robe così, il tutto con la voce clonata, questo è progresso! :Prrr:

calabar
02-04-2024, 15:01
Se fanno il telefono che risponde per conto tuo alle telefonate commerciali, li stanca al telefono e non accetta nulla, diventa la tecnologia antirompiscatole definitiva!

demon77
02-04-2024, 15:09
Se fanno il telefono che risponde per conto tuo alle telefonate commerciali, li stanca al telefono e non accetta nulla, diventa la tecnologia antirompiscatole definitiva!

OPPURE clonano la tua voce facendoti un paio di telefonate dove ti fanno parlare giusto 10 secondi e poi grazie alla AI ti fanno dire letteralmente il cazzo che vogliono facendoti accettare contratti telefonici di utenze, telco ecc.
Ma giusto per dirne uno eh.

Toppissimo anche per le truffe ad anziani e/o categorie deboli dove sta volta non sarà più il tizio amico del figlio/nipote a dire che c'è una emergenza e che servono tremila euro subito ma gli passerà il telefono dove sarà proprio la viva voce del figlio/nipote a dirgli piangendo che bisogna agire subito!

Lo spasso poi in realtà aziendali e/o amministrative dove si verrà contattati direttamente dal direttore generale che ti impatisce ordini perentori da eseguire subito altrimenti ti licenzia.

io78bis
02-04-2024, 15:27
La società aveva pianificato il lancio di un programma pilota per consentire agli sviluppatori di iscriversi all'API di Voice Engine all'inizio di marzo, ma al momento i piani di rilascio sono stati temporaneamente sospesi a seguito di una serie di considerazioni interne sui risvolti e sulle implicazioni etiche di questa tecnologia.

Ma dai.
Non vedo davvero cosa mai potrebbe andare storto. :fagiano:

Questa tecnologia ha praticmante SOLO risvolti negativi.
E' come regalare una set di armi cariche ai delinquenti...
Cosa mi fa ridere? Che se non lo fanno loro di Open AI domani semplicmente lo farà qualcun altro.

Chiudo il post con la solita conclusione: la IA ci fotterà tutti.

Pensa anche solo alla famosa truffa della chiamata all'anziano del finto nipote che chiede soldi. Ora anche la voce telefonica sembrerà del nipote.

io78bis
02-04-2024, 15:32
Che teste di legno. Sviluppano e poi si pongono i problemi etici. Sicuramente si preoccuperanno di proteggere in qualche modo il timbro vocale del politico/personaggio famoso di turno senza soffermarsi sui possibili impatti per la gente comune.

Ormai lo sviluppo del IA dev'essere non regolamentato ma supervisionato da enti con livelli di sicurezza altissimi quasi tipo armi nucleari perché è quella la potenza che stanno assumendo.

Non è allarmismo è semplicemente la realtà o il futuro prossimo (2 anni)

djmatrix619
02-04-2024, 15:44
Non è allarmismo è semplicemente la realtà o il futuro prossimo (2 anni)

2 anni?
Su Instagram già girano i reel con i personaggi famosi che dicono cose mai dette realmente, con la stessa voce. :asd:

Mars95
02-04-2024, 15:54
OPPURE clonano la tua voce facendoti un paio di telefonate dove ti fanno parlare giusto 10 secondi e poi grazie alla AI ti fanno dire letteralmente il cazzo che vogliono facendoti accettare contratti telefonici di utenze, telco ecc.
Ma giusto per dirne uno eh.

Toppissimo anche per le truffe ad anziani e/o categorie deboli dove sta volta non sarà più il tizio amico del figlio/nipote a dire che c'è una emergenza e che servono tremila euro subito ma gli passerà il telefono dove sarà proprio la viva voce del figlio/nipote a dirgli piangendo che bisogna agire subito!

Lo spasso poi in realtà aziendali e/o amministrative dove si verrà contattati direttamente dal direttore generale che ti impatisce ordini perentori da eseguire subito altrimenti ti licenzia.

Oppure visto che è possibile clonare la voce è possibile contestare qualsiasi contratto stipulato a voce, quindi di fatto rende impossibili tutta una serie di truffe.

Le aziende correranno ai ripari, ma già se mi chiama il mio capo da un numero che non conosco non ci vuole tanto a capirlo.

Per quanto riguarda gli anziani se uno paga tremila euro per un emergenza del nipote è così rincoglionito da cascare in una truffa indipendentemente dalla voce.

UtenteHD
02-04-2024, 15:58
La società aveva pianificato il lancio di un programma pilota per consentire agli sviluppatori di iscriversi all'API di Voice Engine all'inizio di marzo, ma al momento i piani di rilascio sono stati temporaneamente sospesi a seguito di una serie di considerazioni interne sui risvolti e sulle implicazioni etiche di questa tecnologia.

Ma dai.
Non vedo davvero cosa mai potrebbe andare storto. :fagiano:

Questa tecnologia ha praticmante SOLO risvolti negativi.
E' come regalare una set di armi cariche ai delinquenti...
Cosa mi fa ridere? Che se non lo fanno loro di Open AI domani semplicmente lo farà qualcun altro.

Chiudo il post con la solita conclusione: la IA ci fotterà tutti.

Quoto quanto detto sulla sua pericolosita', abbiamo visto come la massa in genere la usa per nulla, oppure la utilizza per altro tranne quello che serve e poi ci sono i peggiori..
Io non rilascerei una Tecnologia come questa, la farei solo a pagamento per chi ha a che fare con lo spettacolo e similari.

wobbly
02-04-2024, 16:06
"La mia voce è il mio passaporto" cit. I signori della truffa. :)

Saturn
02-04-2024, 16:09
Voice Engine può clonare qualsiasi voce da uno spezzone audio di 15 secondi. La resa è impressionante e OpenAI ha qualche dubbio sugli usi impropri della tecnologia

O la fanno loro, o sarà qualcun altro. Tanto è inevitabile.

Domanda stupida. Ci si potrebbe in qualche modo tutelare "marchiando", stile "watermark" con le immagini, i flussi audio generati da un'intelligenza artificiale...la voce sarà identica all'originale ma ci sarà un check universale per capire che non è genuina...ma suppongo che ci abbiano già pensato...e che se non lo hanno implementato è perchè sarebbe bucabile in men che non si dica...

BOH. Non so che dire. :fagiano:

demon77
02-04-2024, 16:10
Oppure visto che è possibile clonare la voce è possibile contestare qualsiasi contratto stipulato a voce, quindi di fatto rende impossibili tutta una serie di truffe.

Certo, questo però implica un aggiornamento normativo urgente ed anche una complicazione di tutta una serie di situazioni.

Le aziende correranno ai ripari, ma già se mi chiama il mio capo da un numero che non conosco non ci vuole tanto a capirlo.

Nah. :stordita:
Stai decisamente sopravvalutando una abbondante fetta di persone.
Se poi davvero sei un impiegato e ti arriva una chiamata incazzata con la voce perfetta del tuo capo voglio vedere se gli dici "potresti essere un truffatore con voce artificiale creata con AI".
Se non fotte te stai sereno che su cento ne fotte come minimo 70.

Per quanto riguarda gli anziani se uno paga tremila euro per un emergenza del nipote è così rincoglionito da cascare in una truffa indipendentemente dalla voce.

Succedeva l'altro ieri, succedeva ieri, succede oggi.
Figurati se adesso i truffatori possono contare sulla VERA voce di parenti o conoscenti.

io78bis
02-04-2024, 16:11
2 anni?
Su Instagram già girano i reel con i personaggi famosi che dicono cose mai dette realmente, con la stessa voce. :asd:

Stessa voce o simile. Magari tu non noti la differenza ma un'analisi della traccia audio la troverebbe.
Bisogna capire questa IA è in grado di generare lo stesso timbro vocale, per questo ho scritto 2 anni.

L'accesso a queste tecnologie dev'essere assolutamente messo sotto controllo, a fanc**** qualsiasi ca@@@@ di liberismo. La tecnologia sta correndo molto più della nostra capacità di giudizio.
La bomba atomica aveva u qualche effetto deterrente sul suo uso ma IA sembra che non ce l'abbia o comunque si sottovaluta/ignora in favore del successo economico di veramente pochi

io78bis
02-04-2024, 16:15
Succedeva l'altro ieri, succedeva ieri, succede oggi.
Figurati se adesso i truffatori possono contare sulla VERA voce di parenti o conoscenti.

15 sec di voce li posso recuperare anche io con un semplice drink offerto durante aperitivo sui Navigli, e non sono certo Brad Pitt

Gnubbolo
02-04-2024, 16:15
boh sono 1-2 anni che usiamo i voice cloner per divertici sui server pubblici a imitare i politici o i nostri compagni di gioco più iconici.
quando hai 3-4 tutti con la stessa voce è uno spasso, certo c'è chi gli gira.. ma anche chi sta allo scherzo e poi si unisce a noi a cercare il prossimo obiettivo.
il problema è l'accento e la cadenza, ma credo che prima o poi l'AI correggerà anche questo, anche se è molto complesso per la latenza. mi spiego, un conto è l'AI che elabora 10 sec di audio e cambia la cadenza, ma in real time, non è proprio logicamente possibile cambiare cadenza. l'accento e cadenza sono distribuite su una traccia sonora di diversi secondi.
spero di essermi spiegato.

TorettoMilano
02-04-2024, 16:24
da anni mi capitano canzoni doppiate da gerry scotti, a dicembre era uscita pure la compilation natalizia. sia lodata l'ia

silvanotrevi
02-04-2024, 16:46
ma vi immaginate quando cloneranno la voce di Gerry Scotti: "Eh aloraaaa!!" "L'accendiamo?"

TorettoMilano
02-04-2024, 16:51
ma vi immaginate quando cloneranno la voce di Gerry Scotti: "Eh aloraaaa!!" "L'accendiamo?"

probabilmente hai preso per ironico il mio messaggio, tieni
https://www.instagram.com/thousandgerry/
https://www.instagram.com/travis.scotti.official/

fraussantin
02-04-2024, 19:23
ovviamente i dubbi sono venuti dopo averla sviluppata e terminata...

Quando una tecnologia puo essere sviluppata, qualcuno lo farà cmq e in quel caso tanto vale essere i primi.

Rendere illegale sta roba non servirà a niente, ma potrebbe essere uno spunto per smuoversi cambiare il modo di rendere valido un contratto a distanza .
Magari perfezionandolo con spid o cie o un acconto simbolico con carta.

io78bis
02-04-2024, 20:02
Quando una tecnologia puo essere sviluppata, qualcuno lo farà cmq e in quel caso tanto vale essere i primi.

Rendere illegale sta roba non servirà a niente, ma potrebbe essere uno spunto per smuoversi cambiare il modo di rendere valido un contratto a distanza .
Magari perfezionandolo con spid o cie o un acconto simbolico con carta.

La stipula di contratti è l'ultimo dei problemi che questa tecnologia potrebbe creare. La diffamazione o manipolazione dell'informazione sono molto più pericolosi e un autenticazione non esiste

fraussantin
02-04-2024, 20:07
La stipula di contratti è l'ultimo dei problemi che questa tecnologia potrebbe creare. La diffamazione o manipolazione dell'informazione sono molto più pericolosi e un autenticazione non esiste

Ah beh per quello l'audio fa solo da contorno. Abbiamo già ia che sviluppa video.

Quindi filmati o audio che non possono essere provati come vero da testimonianze o altri metodi avranno poca validità in futuro.

zappy
02-04-2024, 20:07
OPPURE clonano la tua voce facendoti un paio di telefonate dove ti fanno parlare giusto 10 secondi e poi grazie alla AI ti fanno dire letteralmente il cazzo che vogliono facendoti accettare contratti telefonici di utenze, telco ecc.
Ma giusto per dirne uno eh.

Toppissimo anche per le truffe ad anziani e/o categorie deboli dove sta volta non sarà più il tizio amico del figlio/nipote a dire che c'è una emergenza e che servono tremila euro subito ma gli passerà il telefono dove sarà proprio la viva voce del figlio/nipote a dirgli piangendo che bisogna agire subito!

Lo spasso poi in realtà aziendali e/o amministrative dove si verrà contattati direttamente dal direttore generale che ti impatisce ordini perentori da eseguire subito altrimenti ti licenzia.

La stipula di contratti è l'ultimo dei problemi che questa tecnologia potrebbe creare. La diffamazione o manipolazione dell'informazione sono molto più pericolosi e un autenticazione non esiste
condivido.
va vietata punto.

e se "qualcun altro la sviluppa" sanzione da 1 miliardo e 10 anni di carcere. Non vedo dove sia il problema.

fraussantin
02-04-2024, 20:09
condivido.
va vietata punto.

e se "qualcun altro la sviluppa" sanzione da 1 miliardo e 10 anni di carcere. Non vedo dove sia il problema.

Vietarla non servirà a nulla.
La coca è vietata , ma la puoi comprare liberamente.

Immagina un sw che puo essere trasferito con un semplice click in tutto il mondo

demon77
02-04-2024, 21:38
condivido.
va vietata punto.

e se "qualcun altro la sviluppa" sanzione da 1 miliardo e 10 anni di carcere. Non vedo dove sia il problema.

E' la guerra contro i mulini a vento.
Arriverà. Non la fermi sta roba.

calabar
03-04-2024, 10:55
OPPURE clonano la tua voce facendoti un paio di telefonate dove ti fanno parlare giusto 10 secondi e poi grazie alla AI ti fanno dire letteralmente il cazzo che vogliono facendoti accettare contratti telefonici di utenze, telco ecc.
Ma giusto per dirne uno eh.
Era una battuta, eh! ;)

Quello in ogni caso sarebbe un livello ben superiore, perché tali voci sarebbero registrate e passibili di controlli, con rischio di incriminazione per truffa. Se le usassi per vessare i vessatori, nessuno potrebbe avere nulla da ridire.
E, come già detto da altri, probabilmente porterà ad un cambio di normative relative ai contratti telefonici.

Già diversa la questione delle truffe agli anziani (ma anche ai meno anziani), li percepire una voce conosciuta potrebbe far cadere molte prudenze.

paolo cavallo
03-04-2024, 11:09
e l'autenticazione vocale DELLA BANCA ? la mia banca mi fa entrare con L'AUTENTICAZIONE VOCALE...con questa A.I. potrebbe entrare al mio account e fare un macello cul mio conto O MY GOD !!!

Opteranium
03-04-2024, 13:31
spero sia la volta buona che eliminano i contratti a voce al telefono, sarebbe una rivoluzione (non solo, ma anche l'unica soluzione a questa cosa)

aqua84
03-04-2024, 13:42
ovviamente i dubbi sono venuti dopo averla sviluppata e terminata...

Eh già… che strano…

zappy
03-04-2024, 19:58
e l'autenticazione vocale DELLA BANCA ? la mia banca mi fa entrare con L'AUTENTICAZIONE VOCALE...con questa A.I. potrebbe entrare al mio account e fare un macello cul mio conto O MY GOD !!!
che gran cagata...

vabbè, magari torniamo a user e pass e basta, che alla fine è la cosa migliore e più sicura, se si sceglie una pass adatta :p

fraussantin
04-04-2024, 01:11
che gran cagata...

vabbè, magari torniamo a user e pass e basta, che alla fine è la cosa migliore e più sicura, se si sceglie una pass adatta :p


La doppia autenticazione è la cosa migliore.
E andrebbe resa disponibile la revocabilitá entro tot giorni di un bonifico in caso di truffa.

Tipo lasciare i soldi in un limbo interbancario per 3 giorni

TorettoMilano
04-04-2024, 08:04
La doppia autenticazione è la cosa migliore.
E andrebbe resa disponibile la revocabilitá entro tot giorni di un bonifico in caso di truffa.

Tipo lasciare i soldi in un limbo interbancario per 3 giorni

io ho il token fisico e mordo se dicono di volermelo togliere

Wrib
04-04-2024, 08:27
condivido.
va vietata punto.

e se "qualcun altro la sviluppa" sanzione da 1 miliardo e 10 anni di carcere. Non vedo dove sia il problema.

E se qualcuno la sviluppa in segreto rendendo poi pubblici i sorgenti restando anonimo su tor o simili?

Al di là dei sorgenti, quanta potenza di calcolo servirebbe e quanti dati per allenare il modello servirebbero? In sostanza: farla girare sarebbe alla portata "di tutti" o solo di chi possiede datacenter e ha grosse moli di dati per allenarla?

fraussantin
04-04-2024, 12:52
così nessuno si fiderebbe piu' dei bonifici...
Certo che ti puoi fidare , solo che invece che attendere 1 giorno o 2 come adesso ne devi attendere 3 per vedere i soldi sul conto , poi procedi con la spedizione.
I bonifici sono già revocabili finche non partono effettivamente ( di solito entro il giorno di lavorazione)
io ho il token fisico e mordo se dicono di volermelo togliere

A me l'han tolta da anni ormai.

Ma ho disabilitato in modo permanente i bonifici immediati , e limitato da home banking quelli ordinari ad una cifra tollerabile. Posso modificarlo ogni momento , ma servono ulteriori codici usa e getta quindi diventa complicato poi averli.
Oltretutto il bonifico ordinario puo essere revocato in giornata.

demon77
04-04-2024, 13:17
io ho il token fisico e mordo se dicono di volermelo togliere

Che differenza c'è ad avere il token fisico o il token attraverso app su smartphone o più semplicmente la doppia conferma con impronta sempre attaraverso lo smartphone?
Non mi pare ci siano differenze a livello di sicurezza.

TorettoMilano
04-04-2024, 13:20
Che differenza c'è ad avere il token fisico o il token attraverso app su smartphone o più semplicmente la doppia conferma con impronta sempre attaraverso lo smartphone?
Non mi pare ci siano differenze a livello di sicurezza.

lo smartphone può essere in qualche modo compromesso inoltre a non avere il token fisico dietro con me sono impossibilitato a effettuare operazioni (ciò può essere positivo o negativo, nel mio caso è solo positivo :D)