Claude Mythos e i test che smontano (solo) metà dell'allarmismo: cosa sa fare davvero

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/sicure...ro_152479.html

Il UK AI Security Institute ha testato Claude Mythos Preview di Anthropic: il modello completa per la prima volta una simulazione d'attacco aziendale in 32 passi, ma solo in 3 tentativi su 10 e in ambienti privi di difensori attivi

Click sul link per visualizzare la notizia.

[io78bis]

l'AISI può effettivamente affermare è che il modello è "almeno capace" di compromettere reti aziendali piccole e scarsamente difese, evidenziando di fatto una minaccia reale e documentata, ma con un perimetro preciso.

Quindi potenzialmente di quante realtà stiamo parlando? Perché in Italia non credo siano così poche, poi bisogna sempre vedere cosa effettivamente puoi provocare ma sono quasi certo che siano di più le realtà scarsamente protette di quelle con Team IT/prodotti dedicati alla sicurezza

[pengfei]

Originariamente inviato da Redazione di Hardware Upgrade

Sui Capture the Flag (CTF) di livello esperto, Mythos Preview risolve il 73% delle sfide. Prima di aprile 2025, nessun LLM ne completava nemmeno uno. Si tratta di un ritmo di miglioramento quasi verticale, con l'AISI che ne tiene traccia sistematicamente dal 2023, adattando progressivamente la difficoltà dei propri test man mano che i modelli progredivano in capacità.

Quoto, si continua a parlare del muro a cui vanno incontro i "pappagalli stocastici" LLM per i loro limiti strutturali, ma per ora l'unico muro si vede nei grafici dei miglioramenti prestazionali

[Unrue]

Originariamente inviato da pengfei

Quoto, si continua a parlare del muro a cui vanno incontro i "pappagalli stocastici" LLM per i loro limiti strutturali, ma per ora l'unico muro si vede nei grafici dei miglioramenti prestazionali

Pensa quando non saranno più "pappagalli"

Claude ha un pò gonfiato i risultati, che restano comunque notevolissimi e limitati ai token usati.

[hodler]

inizio a pensare che questo ostinarsi a definirli pappagalli o generatori di stronzate sia una sorta di auto difesa, una specie di meccanismo per alleviare la paura...

ci sta, lo comprendo, in effetti c'è poco da stare tranquilli...

[LMCH]

Originariamente inviato da hodler

inizio a pensare che questo ostinarsi a definirli pappagalli o generatori di stronzate sia una sorta di auto difesa, una specie di meccanismo per alleviare la paura...

ci sta, lo comprendo, in effetti c'è poco da stare tranquilli...

Per quel che mi riguarda, il problema principale é che i LLM non hanno una vera ground truth, di conseguenza devi sempre verificare quello che fanno.
Purtroppo molte persone che li utilizzano non comprendono quanto sia grave questo aspetto.

Altro aspetto problematico é come l'R&D in ambito AI ha problemi seri per quel che riguarda finanziare tematiche non riconducibili ad applicazioni dei LLM.

Non c'é un vero sforzo per superare i limiti dei LLM, l'enfasi ora é tutta sul trovare un modo per avere un ritorno adeguato dalle cifre enormi investite a sproposito da quelli che hanno confuso gli LLM con "siamo prossimi all'AGI".

[h.rorschach]

ah se lo dice l'AISI