Crawler AI fuori controllo: il 98% del traffico web è falso e la Linux Foundation risponde così

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/sistem...si_158454.html

La Linux Foundation ha lanciato un duro allarme contro i crawler automatizzati per l'addestramento dei modelli linguistici, rivelando che il traffico legittimo su git.kernel.org è crollato ad appena il 2% del totale complessivo

Click sul link per visualizzare la notizia.

[mmorselli]

La situazione è degenerata quando i crawler hanno iniziato a sfruttare milioni di indirizzi IP residenziali e mobili, veicolati attraverso circuiti commerciali di monetizzazione integrati in dispositivi smart domestici

Ma esiste questa roba? Pensavo fosse competenza delle botnet, non che ci fossero addirittura persone che monetizzano facendo da proxy per i bot

Questo del kernel è un caso molto particolare, ma è evidente che il web dovrà ristrutturarsi, il web basato sulla pubblicità è morto, l'HTML è un morto che cammina, i siti e i webserver vanno ripensati per servire direttamente del markdown, con un modello di business che per i siti di news è ancora tutto da capire.

[matsnake86]

E come potrebbe il markdown risolvere la cosa ?
Il problema non è tanto il contenuto generato ma la quantità di richieste.

[mmorselli]

Originariamente inviato da matsnake86

E come potrebbe il markdown risolvere la cosa ?

Il markdown è leggerissimo e monolitico, già questo ti consente di allocare molta meno memoria per singola richiesta, poi non è una pagina web, e le pagine web quasi sempre sono pieni di immagini che servono solo a decorarla, css che servono a renderla bella, script che servono a creare animazioni ed interazioni cool... Tutta roba utile (si fa per dire) solo agli umani. Una tipica pagina web obbliga il browser a fare decine di richieste in parallelo.

Nota che ho scritto anche "questo del kernel è un caso molto particolare" perché sono pagine già molto leggere, con un solo css semplice e un js, il mio era un discorso più generale sul futuro del web nel momento in cui la maggioranza del traffico sia agentica. Non riguarda i siti con cui interagisco, come questo forum per esempio, ma se le news me le porta l'AI e non le vado più a leggere sul sito di news perché mai quel sito dovrebbe essere pieno di foto, banner, cta, rimandi ad altri articoli, ecc... ? Se l'auto usata me la cerca l'agente, fai un sito in cui l'agente possa cercare le sue cose agevolmente col minor dispendio di token (per me) possibile, così dirò al mio bot di preferire quel sito agli altri.