Oltre 200 siti di news hanno limitato l'accesso a Internet Archive: cosa sta succedendo

La conservazione della memoria digitale si trova oggi schiacciata in un conflitto che non la riguarda direttamente, ma che ne sta compromettendo l'integrità. Grandi gruppi editoriali internazionali hanno iniziato a limitare o bloccare completamente l'accesso ai propri contenuti da parte di Internet Archive, l'ente no-profit che da decenni fotografa e cataloga l'evoluzione del web tramite Wayback Machine. La causa di questa chiusura non risiede nell'attività di archiviazione in sé, quanto nel timore che le aziende di intelligenza artificiale utilizzino questi archivi come scorciatoia per addestrare i propri modelli linguistici (LLM) aggirando paywall e restrizioni imposte sui siti originali.

Si tratta di un fenomeno che Robert Hahn, responsabile delle licenze per Guardian, ha definito - contattato da Nieman Lab - una questione di "conformità" e una difesa contro una "minaccia backdoor". I log di accesso del quotidiano britannico hanno rivelato una frequente attività di scansione proveniente proprio da Internet Archive. Sebbene Guardian supporti la missione di democratizzazione dell'informazione promossa dall'archivio, la dirigenza ha scelto di limitare l'esposizione dei propri articoli completi, temendo che le API della piattaforma di archiviazione offrano database strutturati troppo facili da prelevare per le compagnie tecnologiche a caccia di proprietà intellettuale. Non si tratta di un caso isolato, ma di una tendenza che coinvolge i maggiori attori dell'informazione globale.

Centinaia di siti di news bloccano l'accesso a Internet Archive, contro lo scraping per l'IA

Le contromisure adottate variano per intensità e metodo tecnico: anche New York Times ha confermato di aver attivato un "hard blocking" contro i crawler di Internet Archive, inserendo specifici bot come archive.org_bot nella lista di esclusione del proprio file robots.txt alla fine del 2025. Una decisione simile è stata presa da Reddit e dal conglomerato USA Today Co. (Gannett), che possiede centinaia di testate locali negli Stati Uniti. Mike Reed, CEO di Gannett, ha reso noto che nel solo mese di settembre 2025 l'azienda ha bloccato 75 milioni di bot AI, la maggior parte dei quali tentava di estrarre contenuti locali.

L'analisi condotta da Nieman Lab su oltre mille siti di notizie ha evidenziato che 241 testate in nove paesi vietano esplicitamente l'accesso ad almeno uno dei bot riconducibili a Internet Archive. La preoccupazione principale è che la Wayback Machine mostri versioni gratuite di articoli che sul sito originale sarebbero protetti da abbonamento, offrendo così materiale di alta qualità "pulito" e pronto per essere ingerito dai sistemi di machine learning. Financial Times, ad esempio, blocca qualsiasi automatismo tenti di accedere ai propri contenuti a pagamento, colpendo indistintamente le aziende di AI come OpenAI e gli archivi storici.

Michael Nelson, docente di informatica alla Old Dominion University, descrive la situazione con amarezza: Internet Archive e Common Crawl, considerati i "buoni" dell'ecosistema digitale, sono diventati un danno collaterale nella guerra contro i "cattivi" che sfruttano i dati senza permesso. Brewster Kahle, fondatore di Internet Archive, sostiene che tale condotta potrebbe avere effetti collaterali per gli utenti del web: se gli editori continueranno a limitare le biblioteche digitali, insomma, il pubblico avrà meno accesso alla documentazione storica, minando la lotta contro il disordine informativo.

Nonostante le rassicurazioni di Kahle sui sistemi di sicurezza e filtraggio interni, la fiducia tra chi produce notizie e chi le conserva sembra essersi incrinata di fronte alla fame insaziabile di dati dei nuovi modelli generativi.