Perplexity e i "trucchetti" per superare le restrizioni AI: l'accusa di Cloudflare

Cloudflare ha pubblicato un dettagliato report in cui accusa la startup di ricerca AI Perplexity di aggirare intenzionalmente le restrizioni poste dai siti web per impedire l'accesso ai crawler automatici. Secondo Cloudflare, Perplexity avrebbe adottato tecniche di mascheramento delle proprie attività, modificando l'identità dei bot per continuare a scansionare i contenuti anche quando il sito ha esplicitamente richiesto di non essere indicizzato da AI o altri sistemi automatizzati.

Perplexity è stata più volte al centro di critiche per aver raccolto contenuti online oltrepassando paywall e ignorando le indicazioni presenti nel file robots.txt, cioè lo strumento utilizzato dai siti web per comunicare ai bot quali aree possono o non possono essere visitate. Lo scorso anno, in risposta alle accuse, il CEO di Perplexity, Aravind Srinivas, aveva attribuito tali pratiche ad attività di crawler terzi utilizzati dal servizio. Oggi, però, è Cloudflare stessa a puntare il dito contro la startup, sostenendo che i suoi bot abbiano continuato ad accedere a moltissimi siti nonostante le precise restrizioni tecniche attivate dai proprietari dei siti tramite robots.txt e Web Application Firewall (WAF).

Per dimostrare le sue affermazioni, Cloudflare ha condotto un esperimento creando dei nuovi domini configurati per bloccare Perplexity e i suoi web scraper. Dai test è emerso come Perplexity provi inizialmente ad accedere ai siti con una propria identificazione ("PerplexityBot" o "Perplexity-User"). Tuttavia, in presenza di restrizioni contro lo scraping AI, il sistema cambia rapidamente strategia, modificandosi in modo da apparire come un normale utente con il browser Chrome su macOS. Cloudflare parla di un "crawler non dichiarato" che utilizza indirizzi IP a rotazione, non elencati nella pagina ufficiale degli IP pubblicati da Perplexity, e cambia anche la propria rete di sistemi autonomi (ASN) per superare i blocchi. Secondo il report, questa attività ha coinvolto decine di migliaia di domini e milioni di richieste giornaliere.

Fonte: Cloudflare

Perplexity ha respinto ogni accusa tramite una dichiarazione del portavoce Jesse Dwyer, etichettando il report di Cloudflare come "una trovata pubblicitaria" e sostenendo che ci siano "molti fraintendimenti" nell’analisi pubblicata. Ciò nonostante, Cloudflare ha reagito rimuovendo Perplexity dalla lista dei bot verificati ed ha messo a disposizione dei clienti strumenti specifici per bloccare le pratiche di "stealth crawling" adottate dalla startup.

Matthew Prince, CEO di Cloudflare, ha spesso espresso pubblicamente la sua preoccupazione rispetto alla minaccia esistenziale dell’intelligenza artificiale per gli editori online. La società, il mese scorso, ha dato la possibilità ai siti web di chiedere un compenso alle aziende AI che desiderano scansionare i loro contenuti e, parallelamente, ha iniziato a bloccare di default i crawler AI.