Sovraccarico da AI: bot intelligenti sempre più affamati, siti in crisi

Abbiamo già avuto modo di parlare in varie occasioni di quanto i sistemi di addestramento dei Large Language Model stiano cambiando profondamente le dinamiche del traffico su Internet. Cloudflare, che ha fin da subito puntato il dito contro l'uso indiscriminato dei cosiddetti "AI crawler" che passano al setaccio i contenuti dei siti web, ha rilevato che almeno il 30% del traffico web globale provenga da bot generici, e che tra questi quelli a più rapida crescita sono proprio i bot AI.

C'è chi invece tratteggia tinte più fosche, come Fastly, anch'essa specializzata in soluzioni di Content Delivery Network In un rapporto pubblicato nelle scorse settimane, le analisi di Fastly affermano che l'80% di tutto il traffico generato da bot AI è riconducibile a specifici strumenti specializzati nell'estrazione massiva di informazioni.

I bot che passano in ressegna il web sono un fenomeno che esiste fin dagli albori dei motori di ricerca, che li hanno usati da sempre per indicizzare i contenuti da mostrare nelle pagine dei risultati in risposta ad una ricerca di informazioni da parte dell'utente. I bot AI sono però profondamente diversi e con un comportamento molto più "aggressivo", capace di generare enormi picchi di traffico in breve tempo, con esiti non lontani da quelli degli attacchi DDoS.

Gli AI crawler tendono inoltre a ignorare completamente i parametri di rispetto della banda o i limiti di crawl-delay, caricando pagine per intero, seguendo link dinamici e script, e scaricando contenuti senza alcuna attenzione a preservare la stabilità delle risorse. Il risultato è che, soprattutto per le realtà che si appoggiano a server condivisi, anche chi non viene direttamente “depredato” dai bot rischia di vedere crollare le performance a causa dei colli di bottiglia creati da altri siti surclassati dallo stesso hardware. Anche i file robots.txt, storicamente utilizzati per escludere alcune parti del sito dal crawling, vengono ormai spesso ignorati dai bot AI: questo argomento è stato terreno di scontro di recente tra Perplexity e la stessa Cloudflare, con un botta e risposta abbastanza al vetriolo. Al momento le soluzioni sono ancora acerbe e poco efficaci, con i crawler AI che hanno già dimostrato in varie occasioni di essere abili ad aggirare questi ostacoli. 

Quindi non solo le AI tolgono traffico "umano" ai siti web, ma ne generano di artificiale che oltre ad essere dannoso è anche non monetizzabile e alimentano una faida tra editori e aziende AI in cui la vittima ultima sembra essere il web stesso: nato come risorsa libera e gratuita, per evolversi in uno spazio sempre più compartimentato e ad accesso controllato.