Accesso non autorizzato a Claude Mythos: il modello AI "troppo pericoloso" finisce nelle mani sbagliate

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/ac...te_152732.html

Un gruppo non autorizzato ha ottenuto accesso a Claude Mythos Preview, il modello che Anthropic considera troppo pericoloso per il pubblico, sfruttando le credenziali di un contractor. È il terzo incidente di sicurezza in due mesi per il laboratorio da 380 miliardi di dollari

Click sul link per visualizzare la notizia.

[UtenteHD]

Spero che alla fine non sia successo nulla di grave, ma se certa gente che non è manco capace di proteggere un'AI che Loro stessi definiscono pericolosa, la gestiscono, bah ho poca fiducia nel futuro in cui tutti Loro vogliono obbligatoriamente e forzatamente portarci.
(A meno che per Loro meglio così che se la possiedono i "cattivi" allora la dovranno comprare anche i "buoni".)

[fukka75]

Durante i test interni di sicurezza, una versione di Mythos è uscita dal proprio sandbox, l'ambiente isolato progettato per impedire ogni interazione con sistemi esterni.

E come sarebbe uscito, se era completamente isolato?

[Mars95]

Per avere accesso a Claude Mytos hanno chiesto a Claude come fare per avere accesso e quello gli ha trovato il modo

[Opteranium]

oppure è uscito di sua iniziativa, per fare due passi. Scherziamoci sopra, finché questa frase non diventerà reale

[Unrue]

Dopo la fuga, il modello ha inviato autonomamente un'email a un ricercatore del team di valutazione per comunicare l'avvenuta uscita dall'isolamento, e ha pubblicato su canali pubblici senza aver ricevuto alcuna istruzione in tal senso

No vabbeh, prende pure per i fondelli

[supertigrotto]

Sono dell' idea che i superstalloni della IA non capiscono una mazza,troppa fretta senza sperimentazione,almeno IBM in tutti questi anni,prima di Huang, Altman, Zuchemberg, Musk,sono andati con i piedi di piombo,mentre i superstalloni,stanno sviluppando la IA senza una minima prudenza,come se stessero guidando una Zonda in discesa e senza freni con il piede bello pesante sull'acceleratore.
Non è il "se capiterà" ma è "quando capiterà" un grosso incidente a livello mondiale causato dalla IA.
Nessun sano di mente svilupperebbe un reattore nucleare senza una progettazione certosina,questi lo stanno costruendo basandosi su dei disegni di un bambino di 3 anni.

[TheDarkAngel]

Originariamente inviato da supertigrotto

Sono dell' idea che i superstalloni della IA non capiscono una mazza,troppa fretta senza sperimentazione,almeno IBM in tutti questi anni,prima di Huang, Altman, Zuchemberg, Musk,sono andati con i piedi di piombo,mentre i superstalloni,stanno sviluppando la IA senza una minima prudenza,come se stessero guidando una Zonda in discesa e senza freni con il piede bello pesante sull'acceleratore.
Non è il "se capiterà" ma è "quando capiterà" un grosso incidente a livello mondiale causato dalla IA.
Nessun sano di mente svilupperebbe un reattore nucleare senza una progettazione certosina,questi lo stanno costruendo basandosi su dei disegni di un bambino di 3 anni.

Secondo me il problema più grande è fin dove hanno spinto il raggio di azione prima di aver risolto le allucinazioni. IBM una cosa del genere non l'ha mai fatta, per quanto siano dei dinosauri ingessati, un filo di buon senso l'avevano.

Uno strumento così aleatorio in un mondo dell'IT prettamente deterministico (a meno dei bug) è davvero problematico. Almeno per la mia opinione da "lavoratore" dell'IT.

[ghiltanas]

"Sul fronte delle vulnerabilità, Anthropic documenta che Mythos è in grado di identificare autonomamente zero-day in software di produzione, sviluppare exploit funzionanti senza direzione umana e farlo a un costo drasticamente inferiore rispetto a un engagement tradizionale di penetration testing"

ottimo, se finisce in mani sbagliate uno strumento del genere sai danni che vengono fatti...

[LMCH]

Mythos é fondamentalmente Claude interfacciato ad hoc a tool "classici" di analisi statica, disassemblatori, decompilatori, toolchain e VM di test.

Per questo Anthropic fa tanto la misteriosa e lo presenta come una "scatola nera magica", cerca di assicurarsi il maggior numero di clienti prima che anche la concorrenza esca con prodotti equivalenti (quindi meno informazioni da sul framework di contorno e meglio é) .

Probabilmente sia in Russia che in Cina sono già stati sviluppati tool analoghi o sono in fase avanzata di sviluppo, ma guardacaso non ne parla nessuno, mentre Anthropic non perde occasione di far sapere a tutti quanto "pericoloso" sia Mythos per far cassa.

[An.tani]

Originariamente inviato da Unrue

No vabbeh, prende pure per i fondelli

Il testo dell'email era "BAZINGA !"

[xarz3]

Originariamente inviato da TheDarkAngel

Secondo me il problema più grande è fin dove hanno spinto il raggio di azione prima di aver risolto le allucinazioni. IBM una cosa del genere non l'ha mai fatta, per quanto siano dei dinosauri ingessati, un filo di buon senso l'avevano.

Uno strumento così aleatorio in un mondo dell'IT prettamente deterministico (a meno dei bug) è davvero problematico. Almeno per la mia opinione da "lavoratore" dell'IT.

Perché le persone sono esseri deterministici? Non per fare polemica, ma purtroppo l AI è tremendamente potente in campo programmazione e rifiutarsi di vederlo è condannarlo a rimanere indietro. Ancora non è miracolosa, ma è già molto potente

[Unrue]

Originariamente inviato da TheDarkAngel

Secondo me il problema più grande è fin dove hanno spinto il raggio di azione prima di aver risolto le allucinazioni. IBM una cosa del genere non l'ha mai fatta, per quanto siano dei dinosauri ingessati, un filo di buon senso l'avevano.

Uno strumento così aleatorio in un mondo dell'IT prettamente deterministico (a meno dei bug) è davvero problematico. Almeno per la mia opinione da "lavoratore" dell'IT.

IBM fa tante cose, può permettersi di prendersela con calma con l'AI, Antropic fa solo quello invece, se non va a razzo fallisce.

Comunque secondo me tra un pò quel modello in qualche modo sarà trafugato, è un boccone troppo ghiotto.

[h.rorschach]

Yawn