Paghi o non entri: Cloudflare dichiara guerra ai bot dell'AI

Dopo AI Labyrinth, Cloudflare ha annunciato l'introduzione di un doppio meccanismo per contrastare lo scraping indiscriminato da parte dei bot legati ai servizi di intelligenza artificiale (OpenAI ChatGPT, Anthropic Claude, ecc.). Un problema per tutti i siti web, che si aggiunge a Google AI Overview.

Per prima cosa, tutti i nuovi clienti che si affidano al colosso della sicurezza e della gestione della rete Internet avranno il blocco dei crawler AI impostato come opzione predefinita. Inoltre, l'azienda ha avviato un programma in beta privata chiamato "pay-per-crawl", che permette ai publisher di far pagare l'accesso ai propri contenuti da parte delle intelligenze artificiali.

L'iniziativa si inserisce in un contesto sempre più teso tra chi produce contenuti online e chi li sfrutta per addestrare modelli di AI generativa, spesso senza autorizzazione né compenso. Matthew Prince, CEO di Cloudflare, ha sottolineato come il rapporto tra contenuti originali e ritorno economico per i creatori sia ormai insostenibile: "Per ogni 18 pagine copiate da Google, un solo utente arriva realmente sul sito. Con l'AI, la sproporzione è ancora più estrema: 1.500 a 1 nel caso di OpenAI, e addirittura 60.000 a 1 per Anthropic".

La misura ha raccolto consensi ampi e trasversali, con oltre un milione di clienti Cloudflare che hanno già attivato il blocco. A supporto anche grandi nomi del panorama editoriale e digitale come TIME, Associated Press, Reddit, BuzzFeed, Quora e Universal Music Group. L'obiettivo condiviso è arginare la diffusione non regolamentata di contenuti e proporre un nuovo modello economico più equo.

Il cuore dell'innovazione si chiama HTTP 402. Questo codice di stato, fino ad oggi poco utilizzato, diventa ora lo strumento per chiedere un pagamento alle AI che desiderano accedere ai contenuti. I publisher potranno decidere se consentire l'accesso gratuitamente, bloccarlo del tutto, oppure richiedere un pagamento a richiesta. I crawler, da parte loro, dovranno presentare l'intenzione di pagare nel momento in cui fanno richiesta d'accesso: in caso contrario, riceveranno un messaggio di "pagamento richiesto" e non otterranno il contenuto.

L'infrastruttura tecnica è stata progettata per integrarsi con le architetture web esistenti e garantire che solo i bot autorizzati possano interagire con il sistema di pagamento. Cloudflare si occupa anche del tracciamento delle transazioni e della gestione dei pagamenti, fungendo da intermediario tra AI e publisher.

Anche se in fase iniziale, il modello "pay-per-crawl" apre le porte a scenari futuri molto più complessi e flessibili: dal pricing dinamico in base al tipo di contenuto, fino a forme programmatiche di accesso controllato da agenti AI. In una visione di lungo termine, lo stesso concetto di paywall potrebbe trasformarsi in un sistema completamente automatizzato e negoziabile in tempo reale. L'intento è chiaro: restituire ai creatori di contenuti il controllo sul proprio lavoro e aprire la strada a un Internet più sostenibile anche nell'era dell'intelligenza artificiale.