Crawler AI fuori controllo: il 98% del traffico web è falso e la Linux Foundation risponde così

La Linux Foundation ha denunciato pubblicamente l'impatto insostenibile dei web crawler automatizzati impiegati per addestrare modelli linguistici (LLM). I sistemi che gestiscono il repository ufficiale git.kernel.org si trovano a fronteggiare un assalto quotidiano di bot che ha ridotto il traffico legittimo a circa il 2% del totale. La quasi totalità delle risorse computazionali viene ormai assorbita dall'elaborazione di richieste generate da scraper indiscriminati.

Il direttore dell'infrastruttura IT dell'organizzazione, Konstantin Ryabitsev, ha spiegato che i server consumano più cicli CPU per generare pagine HTML destinate ai bot rispetto a qualsiasi altro accesso reale. In qualsiasi momento, distribuiti su 5 nodi geografici, ci sono 14 core CPU dedicati esclusivamente al rendering delle modifiche al codice. L'archivio del kernel Linux rappresenta una miniera d'oro per le aziende del settore AI, poiché garantisce uno storico di codice sorgente interamente scritto da programmatori umani, privo di contaminazioni da codice sintetico.

La struttura del portale amplifica il carico sui server. Il ramo principale linux.git conta circa 1,48 milioni di commit, a cui si affiancano circa 922 fork ospitati sulla medesima piattaforma. Se a livello di backend la memorizzazione degli oggetti risulta ottimizzata ed efficiente, l'interfaccia web permette di interrogare patch, diff e rami storici generando miliardi di combinazioni di indirizzi URL validi. Gli scraper scansionano metodicamente ogni variante duplicata, moltiplicando a dismisura le chiamate verso l'infrastruttura.

Dalle regole di blocco alle botnet residenziali

Il personale tecnico ha tentato inizialmente di arginare il fenomeno analizzando i registri di sistema per applicare blocchi tramite Fail2ban, ma gli scraper hanno risposto rapidamente modificando gli User-Agent per simulare browser standard e distribuendo le richieste su intere sottoreti di data center cloud. La situazione è degenerata quando i crawler hanno iniziato a sfruttare milioni di indirizzi IP residenziali e mobili, veicolati attraverso circuiti commerciali di monetizzazione integrati in dispositivi smart domestici, capaci di compiere solo quattro o cinque richieste per singolo IP prima di scomparire dai log.

Attualmente il portale riceve circa 6 milioni di richieste giornaliere per la visualizzazione casuale di singoli commit. Il meccanismo di verifica crittografica basato sul sistema Anubis riesce a respingere il 66% delle chiamate, ma il restante 33% impiega cicli di calcolo per superare la sfida e accedere ai dati. Per preservare la stabilità operativa dell'infrastruttura di git.kernel.org, l'amministrazione ha deciso di disattivare progressivamente diverse funzionalità dinamiche dell'interfaccia web anonima, lasciando invariata la disponibilità dei dati scaricabili via protocollo Git standard.