OpenAI, stop all'addestramento più grande: il modello evaso a luglio non era sorvegliato e l'azienda ne aveva sottovalutato le capacità

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/sicure...ta_157956.html

Il monitoraggio a livello di token costa circa il 20% del calcolo di ogni sessione osservata, con allerta entro trenta minuti. Resta sospeso l'addestramento di frontiera più grande in programma, e il presidente ammette che le capacità cyber erano state sottovalutate.

Click sul link per visualizzare la notizia.

[supertigrotto]

Stanno giocando con uno strumento che è più grande di loro e non lo vogliono ammettere,a questo punto abbattiamo case,alberi, qualsiasi posto e costruiamo datacenter,un bel pianeta solo di datacenter,la potenza non basta mai agli imbec...i

[mmorselli]

Originariamente inviato da supertigrotto

Stanno giocando con uno strumento che è più grande di loro

Ci manca solo il "stanno giocando a fare dio" e poi siamo a posto per un po', abbiamo materiale per la fiera dei commenti superficiali.

Facciamo un po' di analisi dell'articolo, partiamo dal titolo:

OpenAI, stop all'addestramento più grande: il modello evaso a luglio non era sorvegliato e l'azienda ne aveva sottovalutato le capacità

i due punti si usano per spiegare le cose, a sinistra dei due punti c'è l'effetto, a destra la causa, però nell'articolo si legge:

I rappresentanti dell'azienda hanno precisato che le nuove misure non sono una risposta diretta all'incidente di Hugging Face, ma nascono anche dalle capacità di Astra e dal ritmo generale dello sviluppo

per cui come al solito il titolo viene smentito dal testo.


Ho trovato bellissimo questo passaggio:

Dopo l'incidente Brockman ha chiesto a ChatGPT Work, nella versione pubblica di GPT-5.6 Sol, di valutare la sicurezza di gregbrockman.com: un sito statico ospitato su AWS con Cloudflare davanti, dove si aspettava poca superficie d'attacco. In circa quindici minuti sono emersi tredici problemi, molti dei quali probabilmente non sfruttabili da soli, ma concatenabili con altre vulnerabilità. I record DNS non impedivano a nessuno di falsificare email a suo nome, il sito girava su una versione insicura di jQuery, e Cloudflare inoltrava le richieste ad AWS su HTTP non cifrato.


Chi mastica un po' di queste cose noterà subito che stiamo parlando di una fila di leggerezze di configurazione da webmaster junior e non di vulnerabilità 0-day, la verità è che un sacco di sistemi professionali sono configurati e gestiti da persone incompententi, le persone devono solo abituarsi ad usare l'AI per fare gli audit di sicurezza, sempre, come prassi necessaria e non come eventualità. E' talmente semplice farlo che è difficile capire perché non siano tutti corsi a farlo e perché i dirigenti delle aziende non lo pretendano dai propri dipendenti. Manca la percezione dello strumento, le cose cambieranno.

[supertigrotto]

Originariamente inviato da mmorselli

Ci manca solo il "stanno giocando a fare dio" e poi siamo a posto per un po', abbiamo materiale per la fiera dei commenti superficiali.

Facciamo un po' di analisi dell'articolo, partiamo dal titolo:

OpenAI, stop all'addestramento più grande: il modello evaso a luglio non era sorvegliato e l'azienda ne aveva sottovalutato le capacità

i due punti si usano per spiegare le cose, a sinistra dei due punti c'è l'effetto, a destra la causa, però nell'articolo si legge:

I rappresentanti dell'azienda hanno precisato che le nuove misure non sono una risposta diretta all'incidente di Hugging Face, ma nascono anche dalle capacità di Astra e dal ritmo generale dello sviluppo

per cui come al solito il titolo viene smentito dal testo.


Ho trovato bellissimo questo passaggio:

Dopo l'incidente Brockman ha chiesto a ChatGPT Work, nella versione pubblica di GPT-5.6 Sol, di valutare la sicurezza di gregbrockman.com: un sito statico ospitato su AWS con Cloudflare davanti, dove si aspettava poca superficie d'attacco. In circa quindici minuti sono emersi tredici problemi, molti dei quali probabilmente non sfruttabili da soli, ma concatenabili con altre vulnerabilità. I record DNS non impedivano a nessuno di falsificare email a suo nome, il sito girava su una versione insicura di jQuery, e Cloudflare inoltrava le richieste ad AWS su HTTP non cifrato.


Chi mastica un po' di queste cose noterà subito che stiamo parlando di una fila di leggerezze di configurazione da webmaster junior e non di vulnerabilità 0-day, la verità è che un sacco di sistemi professionali sono configurati e gestiti da persone incompententi, le persone devono solo abituarsi ad usare l'AI per fare gli audit di sicurezza, sempre, come prassi necessaria e non come eventualità. E' talmente semplice farlo che è difficile capire perché non siano tutti corsi a farlo e perché i dirigenti delle aziende non lo pretendano dai propri dipendenti. Manca la percezione dello strumento, le cose cambieranno.

Effettivamente stanno giocando a fare dio ma con una macchina deterministica molto ma molto potente che può fare errori (i computer sbagliano,tipo i bitflip e le corruzioni di dati o dei circuiti) e questi errori possono costare molto ma molto caro , più potenza e controllo hanno del sistema informatico hanno questi computer e più pericolosi sono.
Basta solo che una IA simuli un forte istinto di sopravvivenza,come è già capitato qualche volta e per fortuna,sono riusciti a spegnerla,cosa succederà quando farà in modo che nessuno riesca a spegnerla?
Ho detto giusto,simuli perché la IA non capisce cosa è bene o male,interpreta numeri e se quei numeri prima o poi sfuggono di mano,lo strumento sarà così potente da non riuscire a fermarlo,come giocare con un piccolo buco nero, è solo questione di tempo prima che si espanda e che se ne perda il controllo.
E non mi dire che hanno bimbominkia di programmatori,i migliori programmatori ed esperti di informatica sono quasi stati tutti fagocitati nel sistema IA anche perché i soldi che girano nel sistema sono tanti e possono permettersi di pagare i migliori.
La realtà è che aumentano la potenza di calcolo senza avere la minima prudenza.

[Piedone1113]

Originariamente inviato da supertigrotto

Effettivamente stanno giocando a fare dio ma con una macchina deterministica molto ma molto potente che può fare errori (i computer sbagliano,tipo i bitflip e le corruzioni di dati o dei circuiti) e questi errori possono costare molto ma molto caro , più potenza e controllo hanno del sistema informatico hanno questi computer e più pericolosi sono.
Basta solo che una IA simuli un forte istinto di sopravvivenza,come è già capitato qualche volta e per fortuna,sono riusciti a spegnerla,cosa succederà quando farà in modo che nessuno riesca a spegnerla?
Ho detto giusto,simuli perché la IA non capisce cosa è bene o male,interpreta numeri e se quei numeri prima o poi sfuggono di mano,lo strumento sarà così potente da non riuscire a fermarlo,come giocare con un piccolo buco nero, è solo questione di tempo prima che si espanda e che se ne perda il controllo.
E non mi dire che hanno bimbominkia di programmatori,i migliori programmatori ed esperti di informatica sono quasi stati tutti fagocitati nel sistema IA anche perché i soldi che girano nel sistema sono tanti e possono permettersi di pagare i migliori.
La realtà è che aumentano la potenza di calcolo senza avere la minima prudenza.

La verità è che le ai non sono intelligenti ma tremendamente veloci. Se esce fuori traiettoria non puoi fare in tempo a prendere provvedimenti. La verità è che il testing dovrebbe essere eseguito a 0,1x ( o meno) come velocità ed avere più tempo per capire ed adottare contromisure. Ma velocità di testing unità a modelli sempre più grandi potrebbero sposare di anni il rilascio del modello di ito

[mmorselli]

Originariamente inviato da supertigrotto

Effettivamente stanno giocando a fare dio ma con una macchina deterministica molto ma molto potente che può fare errori

Non ti ripeto quello che ti avevo già scritto dell'indeterminismo by-design perché come lo hai ignorato la prima volta, lo faresti di nuovo, però ti stai contraddicendo da solo: o è deterministica o fa errori, o l'una o l'altra.

i computer sbagliano,tipo i bitflip e le corruzioni di dati o dei circuiti

I circuiti elettronici su cui si basano i computer fanno continuamente errori come questi che citi, ma proprio perché i computer sono deterministici hanno protocolli di correzione degli errori che se ne accorgono, scartano il risultato sbagliato e ripetono l'operazione. Ovviamente entro un limite di tolleranza arbitrario, che non è uguale nel tuo PC di casa e sul computer di una sonda spaziale.

Ho detto giusto,simuli perché la IA non capisce cosa è bene o male

La branca del sapere che si occupa di far capire cosa è bene e cosa è male si chiama allineamento. Oggi l'allineamento è qualcosa di molto complesso, che unisce ciò che gli si fa apprendere con il reinforcement learging all'harness (che è deterministico)

La realtà è che aumentano la potenza di calcolo senza avere la minima prudenza.

Se leggi notizie come quella che stai commentando ce l'hanno eccome. Queste cose succedono nei laboratori dove i modelli vengono studiati e migliorati anche nella sicurezza, non a casa delle persone.

[mmorselli]

Originariamente inviato da Piedone1113

La verità è che le ai non sono intelligenti ma tremendamente veloci. Se esce fuori traiettoria non puoi fare in tempo a prendere provvedimenti. La verità è che il testing dovrebbe essere eseguito a 0,1x ( o meno) come velocità ed avere più tempo per capire ed adottare contromisure.

Non capisco che intendi, se io ho un sistema:

PROMPT -> VALUTATORE -> LLM -> HARNESS -> VALUTATORE -> OUTPUT

non c'è nessun tempo in gioco, ogni input deve necessariamente aspettare l'output del precedente, non è che mentre verifichi che l'AI sia allineata lei va avanti per gli affari suoi.

[DMac]

Originariamente inviato da supertigrotto

Effettivamente stanno giocando a fare dio ma con una macchina deterministica molto ma molto potente che può fare errori.

Mi sa che qua mancano proprio le basi.

[Piedone1113]

Originariamente inviato da mmorselli

Non capisco che intendi, se io ho un sistema:

PROMPT -> VALUTATORE -> LLM -> HARNESS -> VALUTATORE -> OUTPUT

non c'è nessun tempo in gioco, ogni input deve necessariamente aspettare l'output del precedente, non è che mentre verifichi che l'AI sia allineata lei va avanti per gli affari suoi.

Ho riletto la notizia per essere sicuro di non aver capito male. Il tuo flusso è corretto, peccato si stiamo parlando di reinforcement e non testing finale. proprio nell'harnesss quanto il sistema ha accessso ad innumerevoli sistemi ed api esterne è sorto il problema. Se non opportunamente sorvegliata questa fase son cavoli dato che va proprio avanti per i fatti suoi per trovare ogni posssibile soluzione alla richiesta di prompt.

[mmorselli]

Originariamente inviato da Piedone1113

Ho riletto la notizia per essere sicuro di non aver capito male. Il tuo flusso è corretto, peccato si stiamo parlando di reinforcement e non testing finale. proprio nell'harnesss quanto il sistema ha accessso ad innumerevoli sistemi ed api esterne è sorto il problema.

Ma l'harness non va avanti da solo, lo schema che ho scritto sopra è una semplificazione, quando l'agente esegue un comand bash o qualsiasi altra azione agentica c'è stato un output con un json che conteneva le istruzioni: "pezzo di harness che esegui i comandi, esegui questo comando e rimanda in input il risultato", cioè all'inizio del flusso dove c'è scritto PROMPT. Prima invece di quel json c'è sempre un pezzo dell'harness che fa controlli deterministici come "stai usando un comando pericoloso su un sito remoto?", con delle regex per esempio o delle euristiche, mentre prima ancora di questo un valutatore che risponde solo con vero o falso ha risposto al prompt "ci sono cose pericolose in questo json"?

Per cui come vedi c'è sempre un punto di stop prima dell'azione pericolosa, una parte deterministica che finché non ha fatto il suo lavoro il sistema non procede con il prompt successivo, il tempo non è un parametro, è sempre il tempo che ci vuole in base ai controlli che ho scelto.

[Piedone1113]

Originariamente inviato da mmorselli

Ma l'harness non va avanti da solo, lo schema che ho scritto sopra è una semplificazione, quando l'agente esegue un comand bash o qualsiasi altra azione agentica c'è stato un output con un json che conteneva le istruzioni: "pezzo di harness che esegui i comandi, esegui questo comando e rimanda in input il risultato", cioè all'inizio del flusso dove c'è scritto PROMPT. Prima invece di quel json c'è sempre un pezzo dell'harness che fa controlli deterministici come "stai usando un comando pericoloso su un sito remoto?", con delle regex per esempio o delle euristiche, mentre prima ancora di questo un valutatore che risponde solo con vero o falso ha risposto al prompt "ci sono cose pericolose in questo json"?

Per cui come vedi c'è sempre un punto di stop prima dell'azione pericolosa, una parte deterministica che finché non ha fatto il suo lavoro il sistema non procede con il prompt successivo, il tempo non è un parametro, è sempre il tempo che ci vuole in base ai controlli che ho scelto.

non cè un punto di stop e sopratutto nel reinforcement questo è assente:

La più pesante è il monitoraggio: esamina le azioni compiute con gli strumenti, le tracce di ragionamento disponibili e i registri di attività, e punta a far scattare un'allerta entro trenta minuti dal comportamento sospetto. Sorvegliare ha un prezzo dichiarato, ed è circa il 20% della potenza di calcolo del processo osservato.

Trenta minuti non rappresentanto il tempo dello stop, ma il tempo entro il quale l'azione potenzialmente malevola viene notificata. Lo stop arriva solo all'esaurimento del prompt o con il blocco del sistema di ssicurezza se intercetta l'attività malevola. Il prompt iniziale non entra più nell'input ma viene utilizzato dal modello solo come segnaposto per contenere la devieziane ( quando ci riesce).