Cloudflare si scusa e spiega cos'è successo ieri: il peggior down dal 2019

In un post sul blog aziendale, il cofondatore e CEO di Cloudflare, Matthew Prince, ha svelato i dettagli sulle cause di quella che ha definito la "peggiore interruzione del servizio dal 2019". Come noto, nella giornata di ieri moltissimi siti Internet sono risultati irraggiungibili, compreso il nostro, a causa del problema tecnico di Cloudflare.

Cloudflare è un importante fornitore di sicurezza Internet in tutto il mondo, che offre servizi come la verifica che le connessioni dei visitatori ai siti provengano da esseri umani e non da bot. Si dice che il 20% di tutti i siti web nel mondo utilizzi i suoi servizi in qualche forma.

In parole ancora più semplici, Cloudflare gestisce una rete globale di server distribuiti in tutto il mondo. Moltissimi siti - piccoli e grandi - si appoggiano ai suoi servizi per essere più veloci, più sicuri e più difficili da mandare offline.

Il problema tecnico di ieri ha quindi avuto ripercussioni enormi per l'intero World Wide Web. Prince, nel suo post, ha spiegato che l'origine del problema non è stata un attacco informatico, ma una modifica alle autorizzazioni di uno dei sistemi database di Cloudflare legato a un servizio di mitigazione dei bot. Questo cambiamento ha portato il database a generare voci duplicate all'interno di un file di configurazione utilizzato dal sistema di Bot Management per identificare e filtrare il traffico automatizzato.

Il file, improvvisamente raddoppiato in dimensioni, è stato distribuito a tutti i server della rete Cloudflare. A questo punto si è verificato l'errore critico: il software che instrada il traffico sulla rete legge questo file per aggiornare i parametri anti-bot, ma non è progettato per gestire un file così grande. Superato il limite previsto, il software ha così iniziato a fallire, causando l'interruzione dei servizi dipendenti dal modulo di Bot Management.

Poiché questo file viene propagato automaticamente in tutta l'infrastruttura ogni pochi minuti, la rete ha iniziato a distribuire alternativamente configurazioni corrette e corrotte, causando una fluttuazione anomala di errori 5xx difficile da interpretare nelle prime fasi.

Il problema è diventato stabile, e non più intermittente, quando tutte le istanze aggiornate hanno iniziato a generare esclusivamente file corrotti. La situazione è stata riportata sotto controllo quando Cloudflare ha fermato la propagazione dei file difettosi, reinserito una versione precedente e avviato il riavvio coordinato dei proxy.

Secondo il CTO di Cloudflare, Dane Knecht, l'azienda ha "deluso i nostri clienti e l'intero Internet. […] I siti, le aziende e le organizzazioni che si affidano a Cloudflare contano su di noi per essere sempre disponibili e mi scuso per l'impatto che abbiamo causato".

Affinché quanto accaduto non si ripeta, Cloudflare ha illustrato quattro linee di intervento per mitigare futuri rischi di guasti centralizzati: rafforzare l'ingestione dei file generati internamente, introdurre kill-switch globali più granulari, prevenire che errori e core dump saturino risorse critiche e rivedere i failure mode di tutti i moduli del core proxy.