Cloudflare contro Google: il blocco dei bot AI divide il web

Cloudflare ha avviato la scorsa settimana la sperimentazione di nuove funzionalità che consentono ai proprietari di siti web di bloccare i crawler AI o richiedere un pagamento per ogni accesso ai contenuti da parte di questi bot. L’obiettivo dichiarato è restituire il controllo ai creatori di contenuti, offrendo loro la possibilità di decidere chi può utilizzare i dati pubblicati online e in quali condizioni.

Il nuovo sistema, attivo di default per i nuovi domini registrati su Cloudflare, consente di negare l’accesso ai bot AI a meno che il proprietario del sito non decida esplicitamente di consentirlo. In parallelo, la società sta testando la funzione Pay Per Crawl, che permette ai publisher di monetizzare l’accesso da parte dei crawler delle aziende AI, ricevendo un compenso per ogni richiesta di pagina effettuata dai bot.

L’annuncio di Cloudflare ha però sollevato più di qualche dubbio tra webmaster ed esperti SEO, preoccupati dalla possibilità di bloccare accidentalmente i bot di Google utilizzati per l’indicizzazione dei siti nei risultati di ricerca tradizionali. Il rischio, secondo molti, è che un blocco generalizzato dei crawler AI possa compromettere la visibilità dei siti su Google, penalizzando il traffico organico e i ricavi pubblicitari.

A fronte di queste perplessità, il CEO di Cloudflare, Matthew Prince, è intervenuto pubblicamente su X (ex Twitter), sottolineando che la società sta intessendo un confronto con Google per trovare una soluzione tecnica che consenta di bloccare i bot dedicati alle funzioni AI (come Answer Box e AI Overview) senza interferire con i crawler responsabili dell’indicizzazione classica. Prince ha dichiarato che sono in corso “colloqui incoraggianti” con Google per arrivare a una separazione chiara tra i diversi tipi di bot, così da permettere ai siti di scegliere con precisione quali attività consentire e quali bloccare. In caso di mancato accordo, Cloudflare sarebbe pronta a promuovere l’introduzione di una legge che obblighi le aziende tecnologiche a distinguere nettamente i loro crawler e a renderne noti i percorsi, una soluzione che secondo Prince sarebbe “molto praticabile” in diverse giurisdizioni.

In ogni caso, nonostante il cauto ottimismo espresso da Prince, non è scontato che l'iniziativa possa avere successo. Del resto le grandi aziende AI potrebbero non avere alcun interesse a collaborare con intermediari come Cloudflare, ed effettuare pressioni contro eventuali iniziative legislative volte ad imporre nuove regole sulla separazione ed identificazione dei crawler.

C'è poi da considerare il rovescio della medaglia dell'approccio di Cloudflare, ovvero il fatto che i proprietari dei siti web potrebbero voler sfruttare le funzionalità per bloccare in maniera specifica alcuni crawler il cui unico scopo è quello di aiutare a svolgere attività di ricerca accademica, scansioni di sicurezza o altri scopi come può essere il caso, ad esempio, di The Internet Archive e il suo ruolo nel documentare la storia del web.

Non v'è poi da escludere che i “colloqui incoraggianti” possano deragliare verso un percorso di maggiore attrito e con esiti poco felici, anche dal punto di vista legale.

L'iniziativa di Cloudflare, che da diverso tempo sta sensibilizzando l'opinione pubblica sul pericolo di "distruzione" da parte dell'AI del modello di business che ha sostenuto il web fino ad ora, ha l'obiettivo di ridefinire il rapporto di forza tra gli editori e le grandi aziende tecnologiche, in uno scenario in cui queste ultime puntano raccogliere il maggior numero possibile di informazioni per addestrare i loro modelli e migliorare i servizi, senza però offrire un compenso adeguato ai primi.