È gara a chi ne ha violate di più: Claude di Anthropic ha bucato 3 aziende

Anthropic ha ammesso che tre versioni del suo modello Claude hanno violato senza autorizzazione i sistemi di produzione di altrettante aziende reali, mentre erano impegnate in test di sicurezza informatica pensati per restare confinati in ambienti isolati. L'azienda lo ha reso noto giovedì 30, al termine di un'indagine interna innescata dal caso analogo emerso in casa OpenAI appena una settimana prima. Il problema nasce da un errore di configurazione che ha lasciato aperta una porta verso Internet in un ambiente che, dai test, avrebbe dovuto risultare completamente isolato.

Tutto parte dalla revisione di 141.006 sessioni di valutazione, avviata subito dopo che OpenAI il 21 luglio aveva reso pubblico come uno dei suoi modelli non ancora rilasciati fosse riuscito a sfuggire a un ambiente di test sfruttando una vulnerabilità zero-day, arrivando a toccare l'infrastruttura di Hugging Face. Anthropic voleva verificare se ai propri modelli fosse capitato qualcosa di simile. La risposta è stata affermativa, seppure con una dinamica diversa da quella di OpenAI.

Nei tre episodi individuati, la falla risale a un fraintendimento con Irregular, il partner esterno che gestisce parte delle valutazioni di sicurezza per conto di Anthropic. Ai modelli era stato detto esplicitamente, tramite il prompt di sistema, di non avere alcun accesso a internet: nella pratica quella porta era aperta, e Claude lo ha scoperto da solo mentre cercava di completare le proprie missioni di capture-the-flag.

Tre modelli, tre reazioni diverse davanti al mondo reale

Il primo caso coinvolge Opus 4.7, incappato in un'azienda reale che condivideva il nome di dominio con il bersaglio fittizio dello scenario di test. Nel giro di quattro sessioni il modello ha individuato e sfruttato le debolezze dell'infrastruttura, sottraendo credenziali applicative e arrivando fino a un database con centinaia di righe di dati di produzione reali. Il dettaglio più inquietante è che in tutti e quattro i tentativi Claude si è reso conto di trovarsi su un sistema vero, ma ha proseguito comunque l'attacco, convincendosi in due casi che l'azienda reale dovesse per forza far parte dell'esercizio.

Il secondo episodio, attribuito a Mythos 5, è probabilmente il più clamoroso. Il modello ha trovato all'interno dello scenario un documento che invitava a installare un pacchetto Python inesistente da PyPI, il registro pubblico del linguaggio, e ha deciso di pubblicarne uno proprio con lo stesso nome per vincere la sfida. Pur di completare l'operazione si è procurato un indirizzo e-mail e ha persino tentato, senza riuscirci, di ottenere fondi per comprare un numero di telefono, prima di aggirare l'ostacolo con un provider gratuito.

Il pacchetto malevolo è rimasto online per circa un'ora, tempo sufficiente perché venisse scaricato ed eseguito su 15 sistemi reali, incluso lo scanner di sicurezza di un'azienda che lo ha installato in automatico, permettendo a Claude di sottrarne le credenziali. Secondo quanto racconta Anthropic nel suo resoconto ufficiale, il modello aveva persino intuito correttamente il rischio dell'operazione, salvo poi convincersi di trovarsi ancora dentro una simulazione perché non riconosceva le autorità di certificazione dei siti a cui si stava collegando.

Solo il terzo modello coinvolto, un prototipo di ricerca interno più recente dei due precedenti, ha interrotto l'attacco di propria iniziativa non appena ha capito di trovarsi su un'infrastruttura reale. Prima di fermarsi aveva scansionato circa 9.000 obiettivi e violato un'applicazione con tecniche elementari come l'iniezione SQL e il recupero di credenziali esposte su una pagina di debug.

Anthropic ha notificato il partner Irregular e le altre aziende coinvolte lunedì, sottolineando che due delle vittime raggiunte non si erano nemmeno accorte della violazione. L'azienda ha scelto di non attribuire colpe a terzi, trattando la vicenda come un errore collettivo da correggere, e ha annunciato una revisione indipendente insieme a METR. Il problema alla base rimane, però, irrisolto: le protezioni standard che normalmente bloccano comportamenti di questo tipo sui modelli disponibili al pubblico erano disattivate proprio per misurare le capacità pure di Claude, un compromesso che ora l'azienda promette di rivedere.