OpenAI si prepara ai 'rischi catastrofici' legati all'intelligenza artificiale: creato un team ad hoc

OpenAI si prepara ai 'rischi catastrofici' legati all'intelligenza artificiale: creato un team ad hoc

OpenAI non vuole che l'intelligenza artificiale generativa deragli diventando un pericolo per l'umanità. Per questo è stato creato un team volto a valutare possibili rischi e scenari, nonché a sviluppare contromisure per evitare "rischi catastrofici".

di pubblicata il , alle 08:11 nel canale Web
Intelligenza ArtificialeOpenAI
 

OpenAI ha creato un nuovo team che avrà il compito di "monitorare, valutare, prevedere e proteggerci dai rischi catastrofici" che un'intelligenza artificiale sempre più evoluta potrebbe comportare per l'umanità. Il nuovo gruppo, chiamato Preparedness, è guidato da Aleksander Madry, ex direttore del Center for Deployable Machine Learning del MIT.

Cosa intende OpenAI con rischi catastrofici? La società cita alcune categorie come la capacità dell'IA di persuadere e ingannare gli uomini, ambiti come la sicurezza informatica (cioè la capacità di generare codice maligno), ma anche minacce di carattere chimico, biologico, radiologico e nucleari, per arrivare infine alla capacità dell'IA di replicarsi e adattarsi in modo autonomo.

Il mira a instaurare e mantenere una politica di sviluppo consapevole del rischio (RDP). Madry e compagni andranno a supervisionare i prodotti di OpenAI in modo da comprendere se la loro evoluzione stia prendendo una piega benefica per l'umanità oppure comportare rischi gravi. Inoltre, saranno impegnati nell'approntare misure di contenimento.

"Riteniamo che i modelli di intelligenza artificiale, che supereranno le capacità attualmente presenti nei modelli esistenti più avanzati, abbiano il potenziale per apportare benefici a tutta l'umanità", scrive OpenAI nel post. "Ma comportano anche rischi sempre più gravi. Dobbiamo assicurarci di disporre della comprensione e delle infrastrutture necessarie per la sicurezza dei sistemi di intelligenza artificiale altamente capaci".

Nonostante OpenAI abbia nell'AI generativa il suo business fondante, il CEO Sam Altman è un noto "AI doomsayer", ovvero pensa che lo sviluppo della tecnologia rappresenti un serio problema per l'uomo, tanto da spingersi a parlare di rischio "estinzione". Altman, ma non solo, ritiene che un'intelligenza artificiale superiore a quella umana potrebbe arrivare entro un decennio e che non sarà necessariamente benevola, il che richiede di essere proattivi nella ricerca di modi per limitarla.

13 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
oliverb27 Ottobre 2023, 08:20 #1
mah... alla fine non è chissà che grande perdita la razza umana... e cmq basta prepararsi creando dei T-800 buoni
UtenteHD27 Ottobre 2023, 09:17 #2
Il problema e' che il ragionamento delle IA e' solo logico, anche se gli chiedi di fare una cosa "buona", magari per eseguire quel compito chissa' che fanno (per intenderci), per questo dovrebbero avere delle direttive primarie preimpostate veramente sicure per tutti.
Ma se gia' stanno pensando di farne alcuni come armi.. ciao
Saturn27 Ottobre 2023, 09:29 #3
Originariamente inviato da: oliverb
mah... alla fine non è chissà che grande perdita la razza umana... e cmq basta prepararsi creando dei T-800 buoni


Aveva pienamente ragione l'agente Smith in Matrix...siamo un'infezione estesa per il pianeta...e le macchine sono la cura...
pachainti27 Ottobre 2023, 09:34 #4
I modelli LLM i danni li stanno già facendo, stanno riempiendo il web di informazioni false.
Il loro grande problema è che per costruzione non hanno alcuna consapevolezza e capacità deduttiva-logica. Questo è il motivo per cui a volte (spesso) prendono delle cantonate non conoscendo il contesto di applicazione delle loro inferenze link. Inoltre, gli algoritmi di machine e deep learning, trovano le correlazioni statistiche tra i dati, ma le correlazioni non sono sinonimo di causalità (la causalità implica correlazione, non il viceversa).
Quindi se una persona già conosce l'argomento si accorge dei palesi errori mentre se non lo conosce e si fida dell'IA sta prendendo per vere delle falsità link.
Questo è il grande problema da risolvere il prima possibile, il resto sono solo speculazioni e se analizziamo le previsioni e i fatti degli ultimi 20 anni, poche si sono avverate.
!fazz27 Ottobre 2023, 09:52 #5
esatto è il classico problema di hype alla gartner adesso siamo nel peak e giu tutti a pensare che le IA facciano miracoli quando esistono e si usano da decenni solo che prima non si chiamavano AI e deep learning ma reti neurali, sistemi non lineari, statistica avanzata, nomi meno fighi sicuro ma alla fine sempre nomi sono.

l'unica cosa che è cambiata è la potenza di calcolo disponibile, ormai chiunque può addestrare un dataset corposo, basta una carta di credito e un account gcp,aws, azure a scelta prima era un attività nettamenente più costosa. inoltre adesso è un fiorire di soluzioni low code / no code che permettono di creare sistemi semplici anche senza troppe skill di programmazione

giusto per farti un esempio,a memoria il primo algoritmo basato su reti neurali che ho sviluppato e messo in produzione in un azienda penso di averlo scritto tra il 2008 e il 2009 una robetta se mi ricordo bene da 3 strati e 37 nodi in back propagation con un paio di GB di dataset per il training ed il training ha occupato un core2quad con xp64 e 8 GB di ram con un raid 0 di dischi a 15k rpm e 8k€ di licenza di matlab(un macchinone per l'epoca) per tipo 90 giorni con la paura che lo script si incatramasse e dovessimo ricominciare da zero
rvrmarco27 Ottobre 2023, 10:26 #6
Originariamente inviato da: UtenteHD
Il problema e' che il ragionamento delle IA e' solo logico, anche se gli chiedi di fare una cosa "buona", magari per eseguire quel compito chissa' che fanno (per intenderci), per questo dovrebbero avere delle direttive primarie preimpostate veramente sicure per tutti.
Ma se gia' stanno pensando di farne alcuni come armi.. ciao


Anche se la tua è una preoccupazione assolutamente valida e più volte esplorata dalle produzioni fantascientifiche, il problema in questo caso risiede altrove.

I sistemi di apprendimento automatico che comunemente chiamiamo IA, per quanto magnificamente complessi non esercitano nessun tipo di "ragionamento". Infatti le loro risposte possono essere completamente illogiche.

Ad esempio chatgpt, nonostante sia una feat tecnologica vermente impressionante, al suo core non è altro che un elaborato autocomplete.

Il vero problema di questi strumenti è come sempre l'uso che ne facciamo, delegare le decisioni a un sistema apparentemente intelligente è già un problema di per se.

Quando questi sistemi saranno veramente intelligenti e avranno delle loro ambizioni e obiettivi, questo problema sarà amplificato; specialmente se negli anni precedenti abbiamo lasciato a sistemi automatici la gestione delle nostre vite senza sistemi di controllo
Mo4227 Ottobre 2023, 10:44 #7
E se lo dicono loro...
Unrue27 Ottobre 2023, 11:40 #8
Originariamente inviato da: !fazz

l'unica cosa che è cambiata è la potenza di calcolo disponibile


Beh, insomma, sono usciti modelli complessi come le RCNN (e la sua versione Faster) che hanno rivoluzionato il settore, ben lontano dai primi modelli semplici con la back propagation e 4 livelli in croce. Per non parlare dei modelli zero shot, anche quelli rivoluzionari ed impensabili fino a pochi anni fa. Poi chiaramente la potenza di calcolo aiuta, ma non è solo quella.
Univac27 Ottobre 2023, 12:32 #9
"J.A.R.V.I.S. risolvi la fame nel mondo, le guerre, le malattie, le ingiustizie!"
"certamente: piano di estinzione razza umana inizializzato"
Unax27 Ottobre 2023, 12:57 #10
se non si vuole che diventi un pericolo basta non fargli gestire o prendere decisioni critiche o al limite che ci siano umani a validare la cosa prima di attuarla

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^