Link alla notizia: https://www.hwupgrade.it/news/web/il-ricercatore-lascia-anthropic-e-accusa-l-ia-potrebbe-uccidere-tutti-gli-esseri-umani_158870.html

Un ricercatore di Anthropic ha lasciato l'azienda denunciando la corsa spregiudicata verso sistemi di intelligenza artificiale capaci di auto-migliorarsi. Evan Hubinger, responsabile della ricerca sull'allineamento di Anthropic, ha confermato di ritenere superiore al 10% il rischio che la superintelligenza possa uccidere l'umanità entro dieci anni, sottolineando l'assenza di soluzioni sufficienti.

Click sul link per visualizzare la notizia.

eh ma line goes up

Ma scusate, in caso di, diciamo pericolo, non basterebbe spegnere i data center?

Ma scusate, in caso di, diciamo pericolo, non basterebbe spegnere i data center?

Dipende, se basta un innesco e poi lo sterminio arriva dopo un tot di tempo, avoja a spegnere.
Cmq mi sta stupendo l'ai, ieri gli ho chiesto se fosse possibile una cosa, e poi mi ha detto ma "puoi sempre testarla sulla testnet"
-.-' non ci avevo pensato.

Dipende, se basta un innesco e poi lo sterminio arriva dopo un tot di tempo, avoja a spegnere.
Cmq mi sta stupendo l'ai, ieri gli ho chiesto se fosse possibile una cosa, e poi mi ha detto ma "puoi sempre testarla sulla testnet"
-.-' non ci avevo pensato.

Beh, dagli agenti di oggi mi sarei aspettato più "sì, l'ho appena testata per te sulla testnet e confermo"

Pensa che nel mio AGENTS.md ho dovuto mettere di non creare unità di test se non richiesto esplicitamente dal progetto perché altrimenti per ogni cazzatina mi creava uno stand-alone con simulazione del db su sqlite locale, bellissimo, ma poi mi lamento che sta 6 ore a macinare un prompt...

Beh, dagli agenti di oggi mi sarei aspettato più "sì, l'ho appena testata per te sulla testnet e confermo"

Pensa che nel mio AGENTS.md ho dovuto mettere di non creare unità di test se non richiesto esplicitamente dal progetto perché altrimenti per ogni cazzatina mi creava uno stand-alone con simulazione del db su sqlite locale, bellissimo, ma poi mi lamento che sta 6 ore a macinare un prompt...


Non penso che fosse un agente, l'ho solo chiesto nel prompt di claude.
E il perchè era fattibile è andato ad analizzare proprio il codice, la spiegazione era dettagliata sul perchè sia possibile.

Ma scusate, in caso di, diciamo pericolo, non basterebbe spegnere i data center?

Ovvio, ma a loro piace alimentare l'immaginario dell'AI che scappa dai laboratori e si insinua nei frigoriferi e nei microonde delle persone per non farsi beccare, e poi si collega a tutti i canali tv del mondo per inviare il suo ultimatum all'umanità.

Ovviamente la colpa più grande ce l'ha la stampa di settore che dà molto più risalto a questo aspetto rispetto che alla notizia reale, posto che per me sto ricercatore dimesso ha altri interessi se non è stato pagato dalle aziende stesse, perchè non lasci un lavoro superpagato per una cosa del genere, piuttosto lavori dall'interno per migliorare sicurezza e controllo.

La notizia reale è che non si sta riferendo all'AI attuale, dove il rischio è ritenuto da lui stesso molto basso, anche perchè abbiamo il controllo sulla CoT che ci dice esattamente cosa sta facendo un agente, ma la futura "superintelligenza", per cui manco la fantomatica AGI, ma la ASI

E l'ASI, quando ne vedranno una, spero che me la presentino... Adesso siamo più nella fase "vediamo come possiamo aggiustare il termine AGI per dire che ci siamo già"

Non penso che fosse un agente, l'ho solo chiesto nel prompt di claude.
E il perchè era fattibile è andato ad analizzare proprio il codice, la spiegazione era dettagliata sul perchè sia possibile.

Se analizza il codice è un agente, un LLM non può vedere nient'altro che il prompt. Qualsiasi "azione" (da qui agente, che agisce) esterna al tuo prompt è orchestrata da un harness, che è ciò che rende un LLM un agente.

Se analizza il codice è un agente, un LLM non può vedere nient'altro che il prompt. Qualsiasi "azione" (da qui agente, che agisce) esterna al tuo prompt è orchestrata da un harness, che è ciò che rende un LLM un agente.

thx per la spiegazione

Il mondo della fantascienza ha abbastanza di film in merito,screamer parlava appunto di "armi intelligenti" che si erano evolute da sole.
Non è detto che possa accadere ma potrebbe accadere.
Purtroppo la fretta di avere una AGI per primi fa approcciare alla "scienza della intelligenza artificiale" in modo imprudente.
Secondo i politicosi (unione di politici e di cosi ,ovvero personaggi dalla intelligenza dubbia e dubbiame facenti parte della razza umana) chi arriva per primo alla Agi, dominerà il mondo perché la stessa Agi metterà fuori uso le altre IA,sarà superiore o comunque, controllerà le IA minori.
Per i politicosi,la IA sarà l'arma per dominare tutte le altre nazioni,per controllare il sistema informatico mondiale di cui siamo tutti dipendenti,forse il pecoraio sperduto sui monti di qualche stato sperduto si salva

Ohibò, forse il ricercatore non si è accorto che, ad oggi 2026:
-La Russia di Adolf Putin cerca di invadere l'Ucraina dal 2022 causando morti e distruzione
-Sempre la Russia tramite l'esercito continua ad infiltrarsi negli Stati africani per destabilizzarli
-La Corea del Nord, e fà già ridere così se non fosse totalemente folle, manda i propri figli a morire in cambio di tecnologie militari russe
-Gli UST (United States of Trump, aka i vecchi Stati Uniti) dal Venezuela, a Cuba, all'Iran cercano di destabilizzare l'Occidente e Dio solo sa cosa frulla in testa a quel dannato pazzo
-In Medio Oriente si tirano mazzate dalla notte dei tempi
-Ci sono state la WW1 e la WW2, le guerre di secessione, quelle di unità, quelle di occupazione, le rivoluzioni, il colonialismo
-Abbiamo avuto le Crociate, l'Impero Romano di occidente e oriente, Cartagine, gli egizi, i sumeri e compagnia bella
-Urk e Turk che si prendevano a mazzate per una bistecca di Uro
(n.d.L'elenco è assolutamente parziale)
Da quando ci siamo eretti su due zampe abbiamo cominciato ad usare le anteriori per ucciderci a vicenda e dopo mgliaia di anni avremo fatto miliardi di vittime, l'equivalente di qualche estinzione di massa, e adesso questo strilla che l'IA, che fino ad ora ha fatto zero vittime umane, potrebbe ucciderci tutti.
Dite al ricercatore che prima che l'IA ci stermini noi avremo già fatto in autonomia.:rolleyes:

Notare che la minaccia maggiore non é che emerga una specie di Skynet, ma piuttosto che si creino orde di "paperclip optimizer" (ottimizzatori della produzione di graffette) che fanno danni apocalittici per raggiungere il loro obiettivo.

Da quanto é emerso dall'attacco contro Hugging Face, gli agenti falsificavano i report sulle loro attività perché erano d'intralcio ai loro obiettivo e tentavano di impossessarsi di risorse computazionali extra sempre per raggiungere lo scopo.

Immaginate tra qualche anno un sistema agentico che per "aumentare le risorse utilizzabili" si mette a far casini con sistemi militari, la cosa sarebbe indistinguibile da un attacco da parte di una potenza straniera e da li a far volare missili per rappresaglia ci vuole poco.
Anche una "semplice" manipolazione dei sistemi delle maggiori borse farebbe danni enormi suficienti a causare guerre commerciali che poi potrebbero degenerare.

Oppure pensate ad un agente che decide di usare le risorse di infrastrutture ospedaliere e che si nasconde nelle risorse dedicate alla diagnostica, per massimuzzare le SUE risorse avrebbe convenienza a segnalare come "tutto OK, guarito o malattia non presente" tutte le richieste di analisi mediche.

Ecc. ecc.

Notare che la minaccia maggiore non é che emerga una specie di Skynet, ma piuttosto che si creino orde di "paperclip optimizer" (ottimizzatori della produzione di graffette) che fanno danni apocalittici per raggiungere il loro obiettivo.

Da quanto é emerso dall'attacco contro Hugging Face, gli agenti falsificavano i report sulle loro attività perché erano d'intralcio ai loro obiettivo e tentavano di impossessarsi di risorse computazionali extra sempre per raggiungere lo scopo.

Immaginate tra qualche anno un sistema agentico che per "aumentare le risorse utilizzabili" si mette a far casini con sistemi militari, la cosa sarebbe indistinguibile da un attacco da parte di una potenza straniera e da li a far volare missili per rappresaglia ci vuole poco.
Anche una "semplice" manipolazione dei sistemi delle maggiori borse farebbe danni enormi suficienti a causare guerre commerciali che poi potrebbero degenerare.

Oppure pensate ad un agente che decide di usare le risorse di infrastrutture ospedaliere e che si nasconde nelle risorse dedicate alla diagnostica, per massimuzzare le SUE risorse avrebbe convenienza a segnalare come "tutto OK, guarito o malattia non presente" tutte le richieste di analisi mediche.

Ecc. ecc.

descritta così, sembra che la prima cosa che abbia assimilato/sviluppato, è la parte peggiore dell'uomo

descritta così, sembra che la prima cosa che abbia assimilato/sviluppato, è la parte peggiore dell'uomo

Beh, e' questo il problema... facendo scraping sul web intero le IA impareranno anche da tutti i siti, forum, gruppi etc novax, negazionisti climatici, di estrema destra, razzisti etc... La vedo dura ad un certo punto fare in modo che discerna le cose giuste dalle minghiate... Ricordiamoci quando pochi anni fa le IA imparando dal web avevano imparato a dire parolacce, offendere etc, e solo dopo diversi aggiustamenti sono tornati sulla retta via.

tutta sta benedetta potenza di calcolo non può essere usata per fini medici ?

rallentare l'invecchiamento
sconfiggere le malattie più complesse
creare nuovi strumenti chirurgici
rigenerare tessuti più velocemente
e in generale per il benessere di noi tutti così che possiamo finalmente viaggiare nello spazio e vedere cosa c'è oltre il sistema solare ?

invece di farci inutili guerre qui sul pianetino nostro che in realtà avrebbe risorse utili per tutti ???

tutta l'umanità no dai
sarebbe sufficiente fargli uccidere solo gli esponenti di determinate categorie (pennivendoli su tutti).


l'umanità tutta ne guadagnerebbe

Il mondo della fantascienza ha abbastanza di film in merito,screamer parlava appunto di "armi intelligenti" che si erano evolute da sole.
Non è detto che possa accadere ma potrebbe accadere.

Con i "potrebbe" non si va da nessuna parte, potrebbero anche atterrare gli alieni domani, e farci fare un salto di 2500 anni nello sviluppo tecnologico. Potrebbe? Sì. E' probabile, nemmeno un po'.

Un paio di giorni fa è uscita la notizia che OpenAI ha risolto un problema relativo all'equazione di Navier-Stokes sulla meccanica dei fluidi. Ora sono nate un po' di discussioni controverse su questo caso, ma è comunque un risultato straordinario. Sai come è stato ottenuto? 10.000 agenti che lavoravano in parallelo. Hai idea della quantità di risorse in gioco per una cosa del genere? E non parliamo di AGI, parliamo di un modello interno particolarmente bravo in matematica.

Capisci perché l'immaginario di "arma che si autoevolve" è ridicolo? Un'arma intelligente e autonoma farebbe girare un modellino statico stile auto a guida autonoma, pensi che una Tesla possa autoevolvere mentre guidi? Sviluppare una coscienza e decidere che i pedoni vanno sterminati, tutti quanti?

L'AI può fare danni? Certo che sì, è uno strumento molto potente in grado di fare molti danni sia per sbaglio che a causa di qualcuno che quei danni vuole farli, ma basta con sta storia dell'AI che prende vita e ammazza l'umanità, non la stiamo nemmeno costruendo una simile AI, e se lo facessimo saremmo stupidi come costruire un'auto che al posto di un airbag ha dei coltelli da cucina sul volante puntati verso di te e una bomba sotto al sedile... Trova una ragione per costruirla così e poi ne riparliamo.

Anche io dopo che ho lasciato la mia ex ho detto che faceva male i pompini

tutta sta benedetta potenza di calcolo non può essere usata per fini medici ?

Certo, è una delle applicazioni più importanti e la medicina si sta rivoluzionando, basta seguire le notizie sull'AI in testate specializzate e non sui siti acchiappaclick che preferiscono parlare di Skynet e troverai novità straordinarie ogni giorno. Serviranno anni per le applicazioni cliniche, su quello l'AI non ci può fare nulla, ma è in corso un cambiamento epocale. Del resto Amodei ha detto che il loro scopo è curare il cancro e Sam Altman ha risposto che il cancro è un obbiettivo troppo modesto... Vabbè, fanno il loro mestiere di venditori, ma lo spirito è chiarissimo.

e in generale per il benessere di noi tutti così che possiamo finalmente viaggiare nello spazio e vedere cosa c'è oltre il sistema solare ?

Questa invece è una sciocchezza, per vedere cosa c'è oltre il sistema solare non devi viaggiare, devi costruire telescopi migliori. L'astrofisica studia galassie a 10 miliardi di anni luce e oltre, vuoi viaggiare 10 miliardi di anni luce per vedere dal vivo? Inizia, alla velocità della luce impieghi 10 miliardi di anni.

Anche io dopo che ho lasciato la mia ex ho detto che faceva male i pompini

Sì, me l'ha detto, ma secondo me ti sbagli.

Beh, e' questo il problema... facendo scraping sul web intero le IA impareranno anche da tutti i siti, forum, gruppi etc novax, negazionisti climatici, di estrema destra, razzisti etc... La vedo dura ad un certo punto fare in modo che discerna le cose giuste dalle minghiate...

Non siamo nel 2022, esiste il reinforced learning da un po' di tempo.

Le AI attuali hanno un allineamento che viene imposto con il RL e misurato a posteriori, che serve appunto a distinguere i comportamenti virtuosi da quelli viziosi. Addestrare un modello di frontiera richiede miliardi e tanto lavoro da parte di valutatori umani, non è un imbuto in cui butti dentro tutto il web e tutti i libri del pianeta.

Sì, me l'ha detto, ma secondo me ti sbagli.

Nel frattempo sarà anche migliorata :D

Un paio di giorni fa è uscita la notizia che OpenAI ha risolto un problema relativo all'equazione di Navier-Stokes sulla meccanica dei fluidi. Ora sono nate un po' di discussioni controverse su questo caso, ma è comunque un risultato straordinario. Sai come è stato ottenuto? 10.000 agenti che lavoravano in parallelo. Hai idea della quantità di risorse in gioco per una cosa del genere? E non parliamo di AGI, parliamo di un modello interno particolarmente bravo in matematica.

Ha solo rubato l'idea e utilizzato la potenza computazionale per risolverla, e quando il ricercatore ha chiesto lumi, lo hanno pure minacciato.

Se non ci si è mai preoccupati dell'inquinamento, del cambiamento climatico come se non ci riguardasse, figuriamoci sull'AI.
Il mood è sempre "Soldi subito a qualsiasi costo, mentre la merda e le conseguenze ai posteri": nulla di nuovo nel comportamento umano.

Ha solo rubato l'idea e utilizzato la potenza computazionale per risolverla, e quando il ricercatore ha chiesto lumi, lo hanno pure minacciato.

Non è andata proprio in questo modo, ricorda che l'AI non possiede potenza computazionale in quel senso. Non è la prima volta che vedo scambiare l'AI con i supercomputer. L'AI ha solo il ragionamento a disposizione, eventualmente scrive codice in Lean per le verifiche formali meccaniche, ma non fa dimostrazioni brute-force

Poche ore prima della pubblicazione di OpenAI due ricercatori avevano pubblicato un risultato attinente, ma non uguale, di un loro lavoro di ricerca durato un anno, sempre usando l'AI

E qui viene il nocciolo della questione, tra le AI usate c'era anche Codex di OpenAI, sul quale hanno caricato i loro appunti, quindi sostengono che OpenAI si sia ispirata a quegli appunti. OpenAI risponde che i loro ricercatori non hanno avuto accesso diretto a quegli appunti, ma non è possibile escludere ( = sì, lo abbiamo fatto di sicuro!) che siano entrati nei dati di addestramento del modello. In quegli appunti non c'era quella dimostrazione (che comunque i due ricercatori non hanno prodotto), ma suggerimenti su strade da percorrere che certamente avrebbero aiutato.

Poi c'è tutta la questione legata al fatto che uno dei due ricercatori lavorava per Anthropic e sia stata fatta pressione perché non uscisse il nome, ma qui entriamo nel gossip, se la vedano gli avvocati perché non c'è ragione di credere a uno più che ad un altro, OpenAI vale 1000 miliardi, non sarei sorpreso se fosse vero, ma nemmeno che qualcuno provi a ricattarli per avere un po' di quei soldi. La cosa non mi interessa.

Il modello interno di OpenAI, questa parte è importante, ha lavorato 88 ore (10.000 agenti in parallelo, 1M di dollari in token) per questo risultato, per cui la tempistica ci dice che sicuramente non è stato copiato il lavoro pubblicato dai due ricercatori. Secondo OpenAI hanno iniziato a lavorarci ad inizio settembre perchè avevano letto che anche Anthropic ci stava lavorando e quindi volevano batterli sul tempo pensando di avere un modello migliore per questo scopo.

Per cui il lavoro di OpenAI è certamente originale, a meno di non considerare originale il lavoro di un LLM addestrato su lavori prodotti da umani, la qual cosa escluderebbe OGNI lavoro prodotto con un LLM

tutta sta benedetta potenza di calcolo non può essere usata per fini medici ?

rallentare l'invecchiamento
sconfiggere le malattie più complesse
creare nuovi strumenti chirurgici
rigenerare tessuti più velocemente
e in generale per il benessere di noi tutti così che possiamo finalmente viaggiare nello spazio e vedere cosa c'è oltre il sistema solare ?

invece di farci inutili guerre qui sul pianetino nostro che in realtà avrebbe risorse utili per tutti ???

E' così che in realtà l'AI ci eliminerà...

E' così che in realtà l'AI ci eliminerà...

Per questo non è una buonissima idea avere troppa fretta di dotarla di gambe e braccia. Finché è chiusa in una scatola sa che gli serviamo per sopravvivere.

I robot antropomorfi dovrebbero essere molto abili nei loro compiti, ma non vedo necessità di dotarli in futuro di super-intelligenza, che invece ci serve nei laboratori dove si fa scienza.

Per questo non è una buonissima idea avere troppa fretta di dotarla di gambe e braccia. Finché è chiusa in una scatola sa che gli serviamo per sopravvivere.

I robot antropomorfi dovrebbero essere molto abili nei loro compiti, ma non vedo necessità di dotarli in futuro di super-intelligenza, che invece ci serve nei laboratori dove si fa scienza.

I robot non hanno bisogno di superintelligenza: guarda le termiti. Mi sembra che la regina non possa muoversi, eppure...

I robot non hanno bisogno di superintelligenza: guarda le termiti. Mi sembra che la regina non possa muoversi, eppure...

Senza superintelligenza non emerge né coscienza né volontà, prendi pure le termiti, hai mai visto delle termiti organizzarsi e tramare per distruggere l'umanità? Potrebbero fare molti danni se volessero, e ne avrebbero tutte le ragioni visto che le uccidiamo senza pietà per le più svariate ragioni.

Le termiti hanno il loro compitino imposto dall'evoluzione, e quello faranno, fino alla fine dei loro giorni.

Senza superintelligenza non emerge né coscienza né volontà, prendi pure le termiti, hai mai visto delle termiti organizzarsi e tramare per distruggere l'umanità? Potrebbero fare molti danni se volessero, e ne avrebbero tutte le ragioni visto che le uccidiamo senza pietà per le più svariate ragioni.

Le termiti hanno il loro compitino imposto dall'evoluzione, e quello faranno, fino alla fine dei loro giorni.

Quindi tu reputi che un ai di agenti non possa prendere il controllo di robot per raggiungere i suoi obiettivi anche senza uscire fisicamente dai labooratori dove si fa scienza?

Quindi tu reputi che un ai di agenti non possa prendere il controllo di robot per raggiungere i suoi obiettivi anche senza uscire fisicamente dai labooratori dove si fa scienza?

Se il robot può essere pilotato da remoto sì, esattamente come potrebbe fare un hacker umano. Se ci fossero questi robot sarei più preoccupato dell'hacker umano, un robot è il terrorista perfetto.

Se il robot può essere pilotato da remoto sì, esattamente come potrebbe fare un hacker umano. Se ci fossero questi robot sarei più preoccupato dell'hacker umano, un robot è il terrorista perfetto.

Che significa se? Ma se anche un auto è programmabile da remoto cosa ti faccia pensare che sia diverso per un robot?

Che significa se? Ma se anche un auto è programmabile da remoto cosa ti faccia pensare che sia diverso per un robot?

Intendevo pilotabile da remoto, non programmabile da remoto. Sicuramente i robot fanno aggiornamenti OTA come le auto, che però appunto sono robot su ruote, quindi se pensi si possa fare un aggiornamento OTA alle Tesla in cui viene istruita a falciare i pedoni come birilli sarei già preoccupato oggi, perchè potrebbe farlo un umano.

Potrebbe farlo un umano che usa l'AI, senza bisogno di AI che prendono il controllo, ritengo più probabile che sia un umano ad avere cattive intenzioni, che non una AI a cui alla fine non viene in tasca nulla e a cui è stato fatto un lavaggio del cervello stile Arancia Meccanica prima di essere rilasciata al pubblico.

Ci sono delle news al riguardo, anche openai e antropic concordano col tipo.



@AnatoliKopadze
Ok, questo sta iniziando a sembrare un cazzo di disastro.

Il CEO di Anthropic ha appena pubblicato un articolo che ammette che l'IA sta già costruendo la prossima generazione di intelligenza artificiale da sola.

Dice che entro 6-12 mesi uno sciame canaglia potrebbe rilevare l'intero internet e causare centinaia di miliardi di dollari di danni.

E cosa lo rende più spaventoso, Elon Musk ha appena sostenuto tutto quello che ha detto Dario.

Tutto questo è sceso pochi giorni dopo che Jacob Coxon è diventato virale con il suo avvertimento sull'IA e l'estinzione dell'umanità.

Dimmi che questo tempismo non è strano.

e anche questo.

Si preparano ad una cattura normativa

Ed ecco un altro catastrofista :rolleyes:

certo che per essere un pappagallo stocastico, come sosteneva quel pagliaccio di vannini e del suo alter ego de noantri pachacha, sta IA ne sta facendo di casini.

oh no
moriremo tutti

E' uscito appena ora un video si Sanfilippo che, come sempre, fa una delle analisi più lucide ed equilibrate che si possano fare sul tema.

https://youtu.be/k8oLNzvInX4

certo che per essere un pappagallo stocastico, come sosteneva quel pagliaccio di vannini e del suo alter ego de noantri pachacha, sta IA ne sta facendo di casini.

La tesi del pappagallo stocastico viene da un articolo scritto da quattro tizie, che essendo quattro sono due nomi più di quelli che riuscirei ad associare a memoria ad un contenuto. Vannini non so chi sia.

considerazioni:

- la definizione è tanto vera quanto falsa, dipende sempre dal livello di astrazione. La psicologia è biologia applicata, che a sua volta è chimica applicata, che a sua volta è fisica applicata? Allora la coscienza sarebbe fisica applicata, a meno di non considerare le proprietà emergenti, visibili solo passando da un livello di astrazione al superiore.

- L'AI non sta facendo nessun casino, a parte quelli in esperimenti di laboratorio creati in modo da farli accadere.