Il ricercatore lascia Anthropic e accusa: 'L'IA potrebbe uccidere tutti gli esseri umani'

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/il...ni_158870.html

Un ricercatore di Anthropic ha lasciato l'azienda denunciando la corsa spregiudicata verso sistemi di intelligenza artificiale capaci di auto-migliorarsi. Evan Hubinger, responsabile della ricerca sull'allineamento di Anthropic, ha confermato di ritenere superiore al 10% il rischio che la superintelligenza possa uccidere l'umanità entro dieci anni, sottolineando l'assenza di soluzioni sufficienti.

Click sul link per visualizzare la notizia.

[h.rorschach]

eh ma line goes up

[jepessen]

Ma scusate, in caso di, diciamo pericolo, non basterebbe spegnere i data center?

[fabius21]

Originariamente inviato da jepessen

Ma scusate, in caso di, diciamo pericolo, non basterebbe spegnere i data center?

Dipende, se basta un innesco e poi lo sterminio arriva dopo un tot di tempo, avoja a spegnere.
Cmq mi sta stupendo l'ai, ieri gli ho chiesto se fosse possibile una cosa, e poi mi ha detto ma "puoi sempre testarla sulla testnet"
-.-' non ci avevo pensato.

[mmorselli]

Originariamente inviato da fabius21

Dipende, se basta un innesco e poi lo sterminio arriva dopo un tot di tempo, avoja a spegnere.
Cmq mi sta stupendo l'ai, ieri gli ho chiesto se fosse possibile una cosa, e poi mi ha detto ma "puoi sempre testarla sulla testnet"
-.-' non ci avevo pensato.

Beh, dagli agenti di oggi mi sarei aspettato più "sì, l'ho appena testata per te sulla testnet e confermo"

Pensa che nel mio AGENTS.md ho dovuto mettere di non creare unità di test se non richiesto esplicitamente dal progetto perché altrimenti per ogni cazzatina mi creava uno stand-alone con simulazione del db su sqlite locale, bellissimo, ma poi mi lamento che sta 6 ore a macinare un prompt...

[fabius21]

Originariamente inviato da mmorselli

Beh, dagli agenti di oggi mi sarei aspettato più "sì, l'ho appena testata per te sulla testnet e confermo"

Pensa che nel mio AGENTS.md ho dovuto mettere di non creare unità di test se non richiesto esplicitamente dal progetto perché altrimenti per ogni cazzatina mi creava uno stand-alone con simulazione del db su sqlite locale, bellissimo, ma poi mi lamento che sta 6 ore a macinare un prompt...

Non penso che fosse un agente, l'ho solo chiesto nel prompt di claude.
E il perchè era fattibile è andato ad analizzare proprio il codice, la spiegazione era dettagliata sul perchè sia possibile.

[mmorselli]

Originariamente inviato da jepessen

Ma scusate, in caso di, diciamo pericolo, non basterebbe spegnere i data center?

Ovvio, ma a loro piace alimentare l'immaginario dell'AI che scappa dai laboratori e si insinua nei frigoriferi e nei microonde delle persone per non farsi beccare, e poi si collega a tutti i canali tv del mondo per inviare il suo ultimatum all'umanità.

Ovviamente la colpa più grande ce l'ha la stampa di settore che dà molto più risalto a questo aspetto rispetto che alla notizia reale, posto che per me sto ricercatore dimesso ha altri interessi se non è stato pagato dalle aziende stesse, perchè non lasci un lavoro superpagato per una cosa del genere, piuttosto lavori dall'interno per migliorare sicurezza e controllo.

La notizia reale è che non si sta riferendo all'AI attuale, dove il rischio è ritenuto da lui stesso molto basso, anche perchè abbiamo il controllo sulla CoT che ci dice esattamente cosa sta facendo un agente, ma la futura "superintelligenza", per cui manco la fantomatica AGI, ma la ASI

E l'ASI, quando ne vedranno una, spero che me la presentino... Adesso siamo più nella fase "vediamo come possiamo aggiustare il termine AGI per dire che ci siamo già"

[mmorselli]

Originariamente inviato da fabius21

Non penso che fosse un agente, l'ho solo chiesto nel prompt di claude.
E il perchè era fattibile è andato ad analizzare proprio il codice, la spiegazione era dettagliata sul perchè sia possibile.

Se analizza il codice è un agente, un LLM non può vedere nient'altro che il prompt. Qualsiasi "azione" (da qui agente, che agisce) esterna al tuo prompt è orchestrata da un harness, che è ciò che rende un LLM un agente.

[fabius21]

Originariamente inviato da mmorselli

Se analizza il codice è un agente, un LLM non può vedere nient'altro che il prompt. Qualsiasi "azione" (da qui agente, che agisce) esterna al tuo prompt è orchestrata da un harness, che è ciò che rende un LLM un agente.

thx per la spiegazione

[supertigrotto]

Il mondo della fantascienza ha abbastanza di film in merito,screamer parlava appunto di "armi intelligenti" che si erano evolute da sole.
Non è detto che possa accadere ma potrebbe accadere.
Purtroppo la fretta di avere una AGI per primi fa approcciare alla "scienza della intelligenza artificiale" in modo imprudente.
Secondo i politicosi (unione di politici e di cosi ,ovvero personaggi dalla intelligenza dubbia e dubbiame facenti parte della razza umana) chi arriva per primo alla Agi, dominerà il mondo perché la stessa Agi metterà fuori uso le altre IA,sarà superiore o comunque, controllerà le IA minori.
Per i politicosi,la IA sarà l'arma per dominare tutte le altre nazioni,per controllare il sistema informatico mondiale di cui siamo tutti dipendenti,forse il pecoraio sperduto sui monti di qualche stato sperduto si salva

[dr-omega]

Ohibò, forse il ricercatore non si è accorto che, ad oggi 2026:
-La Russia di Adolf Putin cerca di invadere l'Ucraina dal 2022 causando morti e distruzione
-Sempre la Russia tramite l'esercito continua ad infiltrarsi negli Stati africani per destabilizzarli
-La Corea del Nord, e fà già ridere così se non fosse totalemente folle, manda i propri figli a morire in cambio di tecnologie militari russe
-Gli UST (United States of Trump, aka i vecchi Stati Uniti) dal Venezuela, a Cuba, all'Iran cercano di destabilizzare l'Occidente e Dio solo sa cosa frulla in testa a quel dannato pazzo
-In Medio Oriente si tirano mazzate dalla notte dei tempi
-Ci sono state la WW1 e la WW2, le guerre di secessione, quelle di unità, quelle di occupazione, le rivoluzioni, il colonialismo
-Abbiamo avuto le Crociate, l'Impero Romano di occidente e oriente, Cartagine, gli egizi, i sumeri e compagnia bella
-Urk e Turk che si prendevano a mazzate per una bistecca di Uro
(n.d.L'elenco è assolutamente parziale)
Da quando ci siamo eretti su due zampe abbiamo cominciato ad usare le anteriori per ucciderci a vicenda e dopo mgliaia di anni avremo fatto miliardi di vittime, l'equivalente di qualche estinzione di massa, e adesso questo strilla che l'IA, che fino ad ora ha fatto zero vittime umane, potrebbe ucciderci tutti.
Dite al ricercatore che prima che l'IA ci stermini noi avremo già fatto in autonomia.

[LMCH]

Notare che la minaccia maggiore non é che emerga una specie di Skynet, ma piuttosto che si creino orde di "paperclip optimizer" (ottimizzatori della produzione di graffette) che fanno danni apocalittici per raggiungere il loro obiettivo.

Da quanto é emerso dall'attacco contro Hugging Face, gli agenti falsificavano i report sulle loro attività perché erano d'intralcio ai loro obiettivo e tentavano di impossessarsi di risorse computazionali extra sempre per raggiungere lo scopo.

Immaginate tra qualche anno un sistema agentico che per "aumentare le risorse utilizzabili" si mette a far casini con sistemi militari, la cosa sarebbe indistinguibile da un attacco da parte di una potenza straniera e da li a far volare missili per rappresaglia ci vuole poco.
Anche una "semplice" manipolazione dei sistemi delle maggiori borse farebbe danni enormi suficienti a causare guerre commerciali che poi potrebbero degenerare.

Oppure pensate ad un agente che decide di usare le risorse di infrastrutture ospedaliere e che si nasconde nelle risorse dedicate alla diagnostica, per massimuzzare le SUE risorse avrebbe convenienza a segnalare come "tutto OK, guarito o malattia non presente" tutte le richieste di analisi mediche.

Ecc. ecc.

[fabius21]

Originariamente inviato da LMCH

Notare che la minaccia maggiore non é che emerga una specie di Skynet, ma piuttosto che si creino orde di "paperclip optimizer" (ottimizzatori della produzione di graffette) che fanno danni apocalittici per raggiungere il loro obiettivo.

Da quanto é emerso dall'attacco contro Hugging Face, gli agenti falsificavano i report sulle loro attività perché erano d'intralcio ai loro obiettivo e tentavano di impossessarsi di risorse computazionali extra sempre per raggiungere lo scopo.

Immaginate tra qualche anno un sistema agentico che per "aumentare le risorse utilizzabili" si mette a far casini con sistemi militari, la cosa sarebbe indistinguibile da un attacco da parte di una potenza straniera e da li a far volare missili per rappresaglia ci vuole poco.
Anche una "semplice" manipolazione dei sistemi delle maggiori borse farebbe danni enormi suficienti a causare guerre commerciali che poi potrebbero degenerare.

Oppure pensate ad un agente che decide di usare le risorse di infrastrutture ospedaliere e che si nasconde nelle risorse dedicate alla diagnostica, per massimuzzare le SUE risorse avrebbe convenienza a segnalare come "tutto OK, guarito o malattia non presente" tutte le richieste di analisi mediche.

Ecc. ecc.

descritta così, sembra che la prima cosa che abbia assimilato/sviluppato, è la parte peggiore dell'uomo

[jepessen]

Originariamente inviato da fabius21

descritta così, sembra che la prima cosa che abbia assimilato/sviluppato, è la parte peggiore dell'uomo

Beh, e' questo il problema... facendo scraping sul web intero le IA impareranno anche da tutti i siti, forum, gruppi etc novax, negazionisti climatici, di estrema destra, razzisti etc... La vedo dura ad un certo punto fare in modo che discerna le cose giuste dalle minghiate... Ricordiamoci quando pochi anni fa le IA imparando dal web avevano imparato a dire parolacce, offendere etc, e solo dopo diversi aggiustamenti sono tornati sulla retta via.

[Rubberick]

tutta sta benedetta potenza di calcolo non può essere usata per fini medici ?

rallentare l'invecchiamento
sconfiggere le malattie più complesse
creare nuovi strumenti chirurgici
rigenerare tessuti più velocemente
e in generale per il benessere di noi tutti così che possiamo finalmente viaggiare nello spazio e vedere cosa c'è oltre il sistema solare ?

invece di farci inutili guerre qui sul pianetino nostro che in realtà avrebbe risorse utili per tutti ???

[Gio22]

tutta l'umanità no dai
sarebbe sufficiente fargli uccidere solo gli esponenti di determinate categorie (pennivendoli su tutti).


l'umanità tutta ne guadagnerebbe

[mmorselli]

Originariamente inviato da supertigrotto

Il mondo della fantascienza ha abbastanza di film in merito,screamer parlava appunto di "armi intelligenti" che si erano evolute da sole.
Non è detto che possa accadere ma potrebbe accadere.

Con i "potrebbe" non si va da nessuna parte, potrebbero anche atterrare gli alieni domani, e farci fare un salto di 2500 anni nello sviluppo tecnologico. Potrebbe? Sì. E' probabile, nemmeno un po'.

Un paio di giorni fa è uscita la notizia che OpenAI ha risolto un problema relativo all'equazione di Navier-Stokes sulla meccanica dei fluidi. Ora sono nate un po' di discussioni controverse su questo caso, ma è comunque un risultato straordinario. Sai come è stato ottenuto? 10.000 agenti che lavoravano in parallelo. Hai idea della quantità di risorse in gioco per una cosa del genere? E non parliamo di AGI, parliamo di un modello interno particolarmente bravo in matematica.

Capisci perché l'immaginario di "arma che si autoevolve" è ridicolo? Un'arma intelligente e autonoma farebbe girare un modellino statico stile auto a guida autonoma, pensi che una Tesla possa autoevolvere mentre guidi? Sviluppare una coscienza e decidere che i pedoni vanno sterminati, tutti quanti?

L'AI può fare danni? Certo che sì, è uno strumento molto potente in grado di fare molti danni sia per sbaglio che a causa di qualcuno che quei danni vuole farli, ma basta con sta storia dell'AI che prende vita e ammazza l'umanità, non la stiamo nemmeno costruendo una simile AI, e se lo facessimo saremmo stupidi come costruire un'auto che al posto di un airbag ha dei coltelli da cucina sul volante puntati verso di te e una bomba sotto al sedile... Trova una ragione per costruirla così e poi ne riparliamo.

[aqua84]

Anche io dopo che ho lasciato la mia ex ho detto che faceva male i pompini

[mmorselli]

Originariamente inviato da Rubberick

tutta sta benedetta potenza di calcolo non può essere usata per fini medici ?

Certo, è una delle applicazioni più importanti e la medicina si sta rivoluzionando, basta seguire le notizie sull'AI in testate specializzate e non sui siti acchiappaclick che preferiscono parlare di Skynet e troverai novità straordinarie ogni giorno. Serviranno anni per le applicazioni cliniche, su quello l'AI non ci può fare nulla, ma è in corso un cambiamento epocale. Del resto Amodei ha detto che il loro scopo è curare il cancro e Sam Altman ha risposto che il cancro è un obbiettivo troppo modesto... Vabbè, fanno il loro mestiere di venditori, ma lo spirito è chiarissimo.

e in generale per il benessere di noi tutti così che possiamo finalmente viaggiare nello spazio e vedere cosa c'è oltre il sistema solare ?

Questa invece è una sciocchezza, per vedere cosa c'è oltre il sistema solare non devi viaggiare, devi costruire telescopi migliori. L'astrofisica studia galassie a 10 miliardi di anni luce e oltre, vuoi viaggiare 10 miliardi di anni luce per vedere dal vivo? Inizia, alla velocità della luce impieghi 10 miliardi di anni.

[mmorselli]

Originariamente inviato da aqua84

Anche io dopo che ho lasciato la mia ex ho detto che faceva male i pompini

Sì, me l'ha detto, ma secondo me ti sbagli.