Quando l'AI costruisce sé stessa: Anthropic lancia l'allarme sul punto di non ritorno

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/scienz...no_154449.html

L'Anthropic Institute chiede al settore un meccanismo coordinato e verificabile per sospendere lo sviluppo dell'AI di fronte all'auto-miglioramento ricorsivo. A sostegno, i numeri interni: oltre l'80% del codice dell'azienda è già scritto da Claude.

Click sul link per visualizzare la notizia.

[Giulio1976]

Un IA che crea i suoi discendenti mi sembra una IA che finisce nella trappola dell'inbreeding. Man mano che si va avanti di generazioni, le mutazioni negative finiscono per sommarsi.

[pengfei]

Originariamente inviato da Giulio1976

Un IA che crea i suoi discendenti mi sembra una IA che finisce nella trappola dell'inbreeding. Man mano che si va avanti di generazioni, le mutazioni negative finiscono per sommarsi.

Però le prestazioni sono verificabili, in caso sarebbe come un inbreeding dove i figli che non fanno meglio dei padri vengono soppressi

[UtenteHD]

Originariamente inviato da Giulio1976

Un IA che crea i suoi discendenti mi sembra una IA che finisce nella trappola dell'inbreeding. Man mano che si va avanti di generazioni, le mutazioni negative finiscono per sommarsi.

Puo' essere, come può essere che mettendole tutte connesse in grado di supportarsi a vicenda con infinità di mole di dati condivisi non possano fare altro che migliorare e migliorare. Come ha fatto l'Uomo nella condivisione di informazioni.
Sono tutte ipotesi, ma è corretto pensarci (e nessuno lo farà mai perchè prima di tutto gli investimenti, poi si vedrà) che non pensarci affatto e restare a guardare.
Cmq impressione mia ma Antropic sta facendo di tutto per mettersi in buona vista nell'opinione pubblica.

[mmorselli]

Originariamente inviato da UtenteHD

Puo' essere, come può essere che mettendole tutte connesse in grado di supportarsi a vicenda con infinità di mole di dati condivisi non possano fare altro che migliorare e migliorare.

Attenzione che i modelli sono statici, non migliorano nel tempo. Molti pensano che un modello impari le cose mentre lavora, non è così, per lui la vita inizia da capo ogni volta, è come il tizio del film Memento.

Sul discorso dell'AI che si migliora, non è che sia tutto falso, ma c'è dietro tanta narrativa legata ai discorsi un po' new age sulla singolarità, che si fanno da oltre 20 anni, in cui l'intelligenza esplode in modo esponenziale quando una AI è in grado di PROGRAMMARE una versione migliore di sé stessa, poi la successiva migliorerà la precedente e così via in un'esplosione esponenziale velocissima.

Quando si è iniziato a parlare di questa cosa l'idea era che un computer intelligente fosse un programma, nessuno sapeva che le reti neurali, che a quei tempi il meglio che sapevano fare era riconoscere i caratteri dell'alfabeto (OCR), sarebbero diventate gli LLM

Per cui oggi si continua a pompare questa narrativa perchè richiama investitori, ma va ridimensionata parecchio.

In un sistema come potrebbe essere Claude o GPT c'è una parte algoritmica importante per l'addestramento e l'inferenza, ma il grosso del lavoro è ancora rappresentato dal modello, che non è un software, non è qualcosa che si programma, è qualcosa che si addestra.

Dire "il 90% del codice lo scrive l'AI" è marketing che non spiega che quel 90% del codice rappresenta il 5% del lavoro. C'è stata parecchia innovazione con scoperte come la sparse attention, il mixture of expert, la kv cache, la quantizzazione e tante altre idee che hanno aumentato le performance del modello, ma queste idee non sono nate dall'AI, ma dagli scienziati, che le hanno scritte su un paper scientifico. Il codice vero e proprio che implementa queste idee può pure scriverlo l'AI, ma se l'idea è rivoluzionaria, l'implementazione è semplice.

[h.rorschach]

Le cazzate che sparano per tenere gonfia la bolla sono solo leggermente più piccole della bolla stessa

[mozzarello]

Non so quanto cazzate siano visto che già ora si può non scrivere più codice con 1000 crediti mensili di Claude, figurati loro che c'hanno i miliardi

[mmorselli]

Originariamente inviato da mozzarello

Non so quanto cazzate siano visto che già ora si può non scrivere più codice con 1000 crediti mensili di Claude, figurati loro che c'hanno i miliardi

Non solo, loro hanno il modello in casa, ed è quello che noi vedremo tra 6 mesi.

[UtenteHD]

Originariamente inviato da mmorselli

Attenzione che i modelli sono statici, non migliorano nel tempo. Molti pensano che un modello impari le cose mentre lavora, non è così, per lui la vita inizia da capo ogni volta, è come il tizio del film Memento.

Sul discorso dell'AI che si migliora, non è che sia tutto falso, ma c'è dietro tanta narrativa legata ai discorsi un po' new age sulla singolarità, che si fanno da oltre 20 anni, in cui l'intelligenza esplode in modo esponenziale quando una AI è in grado di PROGRAMMARE una versione migliore di sé stessa, poi la successiva migliorerà la precedente e così via in un'esplosione esponenziale velocissima.

Quando si è iniziato a parlare di questa cosa l'idea era che un computer intelligente fosse un programma, nessuno sapeva che le reti neurali, che a quei tempi il meglio che sapevano fare era riconoscere i caratteri dell'alfabeto (OCR), sarebbero diventate gli LLM

Per cui oggi si continua a pompare questa narrativa perchè richiama investitori, ma va ridimensionata parecchio.

In un sistema come potrebbe essere Claude o GPT c'è una parte algoritmica importante per l'addestramento e l'inferenza, ma il grosso del lavoro è ancora rappresentato dal modello, che non è un software, non è qualcosa che si programma, è qualcosa che si addestra.

Dire "il 90% del codice lo scrive l'AI" è marketing che non spiega che quel 90% del codice rappresenta il 5% del lavoro. C'è stata parecchia innovazione con scoperte come la sparse attention, il mixture of expert, la kv cache, la quantizzazione e tante altre idee che hanno aumentato le performance del modello, ma queste idee non sono nate dall'AI, ma dagli scienziati, che le hanno scritte su un paper scientifico. Il codice vero e proprio che implementa queste idee può pure scriverlo l'AI, ma se l'idea è rivoluzionaria, l'implementazione è semplice.

Avrai ragione su tutto, non so, TI credo perchè parte di quel che dici non lo conosco.
Solo si parla del futuro quando saranno in grado di migliorarsi e se non saranno in gradi di farlo di creare altre IA migliori che a loro volta creeranno qualcosa di migliore e così via. In quel caso dicevo (se succederà, ma per me è probabile, ora abbiamo solo delle bozze) allora l'interconnessione potrà dare loro un boost altissimo di miglioramento, come lo ha dato a Noi, a parte i social che hanno invertito la cosa..

[Proteo71]

Originariamente inviato da UtenteHD

... l'interconnessione potrà dare loro un boost altissimo di miglioramento, come lo ha dato a Noi, a parte i social che hanno invertito la cosa..

Spunto veramente interessante, pensate che spasso quando le varie AI cominceranno a dire cazzate le une delle altre su un futuro "AIbook" o "AIgram"

[mozzarello]

Originariamente inviato da Proteo71

Spunto veramente interessante, pensate che spasso quando le varie AI cominceranno a dire cazzate le une delle altre su un futuro "AIbook" o "AIgram"

Ci sarebbe già

[mmorselli]

Originariamente inviato da UtenteHD

allora l'interconnessione potrà dare loro un boost altissimo di miglioramento, come lo ha dato a Noi, a parte i social che hanno invertito la cosa..

No, perché gli LLM non imparano, non è che uno impara delle cose e quindi le insegna all'altro, se prendi un modello come GPT 5.5 o quello che vuoi, in questo momento lo stanno usando un milione di persone, sono un milione di istanze dello stesso modello, identiche, hanno una conoscenza statica uguale su tutti.

Cosa possono fare di "collaborativo", che però stanno già facendo oggi regolarmente e non serve aspettare il futuro?

- lanciare più istanze dello stesso modello, questo si usa molto il programmazione nei task più complessi, basta dirglielo: "spawn multiple agents for this task" e lui si moltiplica e assegna un sotto task ad ognuno, che poi riporta ad un agente master orchestratore. Serve perchè gli LLM non possono leggere quantità infinite di testo, se hai una codebase molto grande o documentaizone aggiuntiva, ogni sotto-agente si legge solo la sua parte, se la studia, e poi all'agente principale porta solo l'informazione utile e non tutto il malloppo

- usare modelli diversi per controllarsi uno con l'altro, questo lo fanno già da una vita le persone che con l'AI ci lavorano, fai creare un documento a GPT, poi lo fai leggere a Claude chiedendo di migliorarlo, poi lo dai a Gemini e chiedi di migliorarlo... Alla fine ognuno ci ha messo del suo, siccome hanno schemi di pensiero diversi ognuno potrebbe avere avuto un'intuizione diversa, il rischio è di strafare, perchè se tu chiedi ad un modello di migliorare qualcosa lui lo farà, a tutti i costi, anche se non ce n'è bisogno.

Altra cosa che esiste già e che possiamo considerare collaborativa è il mixture of expert, il modello al suo interno ha delle sottoreti specializzate, una magari è più brava in matematica, una nel coding, una nel ragionamento analitico, ecc... Invece che far lavorare tutto il modello assieme ad ogni passaggio si attivano solo gli esperti più adatti ad uno specifico compito, e collaborano per arrivare al risultato finale. Il vantaggio è che ottieni risultati migliori con un dispendio computazionale molto più basso, perchè buona parte del "cervello" è spento.


Le persone funzionano in modo diverso, prima di tutto imparano continuamente, ogni nuova informazione importante modifica la tua rete neurale, che è viva, biologica e molto plastica. Un LLM è un cervello congelato, ha tanta conoscenza, ma per acquisirne di nuova deve ripetere l'addestramento, che è un processo lungo, pesantissimo dal punto di vista computazionale, e che richiede molta preparazione e lavoro da parte degli umani che lavorano al modello. Secondo, le persone sono tutte diverse, si sono addestrate dalla nascita prendendo in input anni di esperienze differenti, i modelli sono quella decina famosa più migliaia di modelli sconosciuti creati per eseperimento o per compiti specifici. Se in una stanza metto 100 versioni di te stesso a pensare ad un problema il risultato non sarà tanto migliore rispetto a farlo da solo.

[mmorselli]

Originariamente inviato da Proteo71

Spunto veramente interessante, pensate che spasso quando le varie AI cominceranno a dire cazzate le une delle altre su un futuro "AIbook" o "AIgram"

Vuoi dire questo?

https://www.moltbook.com/

[Proteo71]

Originariamente inviato da mozzarello

Ci sarebbe già

Originariamente inviato da mmorselli

Vuoi dire questo?

https://www.moltbook.com/

Ossignùr...