Cloudflare contro i crawler AI "misti": bloccati dal 15 settembre

Dal 15 settembre 2026 Cloudflare bloccherà di default i crawler "mixed-use", cioè quelli che combinano indicizzazione per la ricerca, addestramento di modelli AI e uso agentivo, dalle pagine che ospitano annunci pubblicitari. La novità, annunciata sul blog ufficiale dell'azienda, punta a dare ai publisher più controllo su come i propri contenuti vengono sfruttati dall'intelligenza artificiale.

Le nuove impostazioni di default si applicano ai nuovi clienti Cloudflare, ai nuovi siti dei clienti già esistenti e a tutti i clienti free che non hanno modificato le proprie configurazioni. Chi vuole continuare a farsi scansionare da questi bot può comunque riammetterli manualmente intervenendo sulle impostazioni, che verranno rese più granulari consentendo di ammettere o escludere solo determinati tipi di bot.

Il blocco si accompagna a un cambio nel modello di remunerazione: il servizio Pay Per Crawl evolve in Pay Per Use. Non si paga più il publisher solo quando il contenuto viene scansionato, ma quando quel contenuto crea effettivamente valore. I primi partner del nuovo modello sono Ceramic.ai, motore di ricerca AI, e You.com, motore di ricerca pensato per agenti AI: chi aderisce viene pagato quando i propri contenuti compaiono nei risultati di Ceramic.ai o quando You.com accede a un contenuto premium.

Il traffico non umano supera quello umano

Matthew Prince, co-fondatore e CEO di Cloudflare, ha collegato la mossa a un cambio di scala del traffico Internet: "Ora che la maggioranza del traffico su Internet non è più umana, dobbiamo andare oltre e agire più in fretta perché possa emergere un ecosistema sostenibile", ha dichiarato, sottolineando che questa soglia è stata raggiunta prima del previsto. Cloudflare sostiene inoltre che oltre la metà del traffico generato dai crawler AI viene speso per ri-scansionare pagine che non sono cambiate, sprecando banda e risorse dei publisher.

Per dare ai publisher più visibilità su questi consumi, Cloudflare introduce anche una nuova Business Insights Dashboard, pensata per mostrare come i bot consumano i contenuti e quanto traffico generano i modelli AI.

Google, Microsoft e Apple potenzialmente coinvolti

Fra i crawler che rientrano nella categoria "mixed-use", e quindi potenzialmente soggetti al blocco di default, ci sono anche Googlebot, Bingbot di Microsoft e Applebot. Le tre aziende offrono però canali di esclusione separati e specifici per l'uso AI, che potrebbero esentarle dal blocco: rispettivamente Applebot-Extended, Google-Extended e il meta tag "noarchive".

Cloudflare ha rincarato la dose puntando il dito contro quello che definisce "il più grande motore di ricerca del mondo", riferendosi a Google, sostenendo che avrebbe accesso a circa il doppio delle informazioni rispetto agli altri fornitori di AI perché renderebbe difficile per i siti restare indicizzati su Search senza al contempo alimentare i propri prodotti AI. Google ha risposto ricordando che il proprio bot Google-Extended permette ai siti di escludere i contenuti dall'addestramento e dai prodotti AI, inclusi Gemini e le API Vertex, senza perdere l'indicizzazione su Google Search.