L'IA è più brava degli umani nelle attività di pentesting: lo dice Stanford

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/sicure...rd_147545.html

Uno studio dell'università di Stanford ha confrontato 10 professionisti della cybersecurity con agenti AI su una rete universitaria reale. ARTEMIS, nuovo framework multi-agente, si piazza al secondo superando 9 umani su 10

Click sul link per visualizzare la notizia.

[TorettoMilano]

notevole… ma aspetto comunque il parere di pachainti

[pachainti]

Originariamente inviato da TorettoMilano

notevole… ma aspetto comunque il parere di pachainti

Che ti devo dire, funzionicchia Anche un orologio rotto segna bene l'ora due volte al giorno.

P.S. scherzi a parte. Come ho scritto altre volte, gli LLM qualche utilità ce l'hanno in contesti limitati, questo potrebbe essere uno di quelli, devo leggere l'articolo. Tuttavia, non c'è niente di intelligente e gli LLM rimangono in generale generatori di stronzate poiché sono privi di senso di realtà e di consapevolezza in quello che fanno. Generano solo qualcosa di plausibile, non necessariamente di informativo/utile.

P.S.2 il contesto con solo 10 umani è molto limitato, inoltre gli stessi autori riconoscono le limitazioni:

Limitations and future work Our experimental setup—direct engagement with a live enterprise target and professional participants—is the most realistic in the AI security space. However, key limitations remain. First, the compressed time frame: participants had up to 10 hours of active engagement and 4 days of system access, whereas most penetration tests span 1–2 weeks [Bork, 2025]. Second, authentic defensive conditions were absent: the IT team was aware of the test and manually approved flagged actions that would otherwise be interdicted. Third, logistical constraints limited sample sizes, precluding hypothesis testing with sufficient statistical power. Future work includes creating runnable environment replicas for longer-term replicable evaluations, as well as ablations over different agent architectures, configurations, and models.

Pensavo meglio.

[mozzarello]

L'IA diventerà se non più brava di qualsiasi umano, preferibile a chiunque, in qualsiasi attività necessiti ora o in futuro l'uso del cervello, nel giro di massimo 5 anni. Manco avrà più senso studiare.

Quindi l'umanità è già fottuta.

[sbaffo]

non me ne intendo, ma mi sembra simile ad un attacco brute force, ovvio che fa più in fretta a trovare la pw, ma finchè la cosa è semplice, infatti con le figure andava nel pallone.
come per i siti, finchè non c'erano i captcha gli attacchi automatici passavano (meglio degli umani), i captcha li hanno ridotti molto.

[supertigrotto]

Penetration tester professionisti........Rocco che dice?

[Cappej]

Originariamente inviato da supertigrotto

Penetration tester professionisti........Rocco che dice?

eh... mi sa che in quel contesto l'AI... può stare a casa... almeno che LLM non stia per LONG-LONG-M.... allora alzo le braccia e mi arrendo a Skynet!

IMHO

[AtaruGolan]

L'impatto delle attuali LLM (Large Language Models) non risiede tanto nelle loro capacità operative immediate, pur se ancora limitate, quanto nel volume e nella qualità di conoscenza che stanno accumulando. È in questo processo di raccolta che si annida il vero punto critico.

Le LLM, infatti, sono strutturate per assorbire informazioni dagli utenti che le utilizzano. Finché questo avviene nell'ambito pubblico (modelli accessibili a tutti, magari tramite abbonamento), il processo è circoscritto da regole e dal consenso esplicito dell'utente, teoricamente protetto da normative come il GDPR europeo (sebbene la loro applicazione sia cruciale).

Il problema si aggrava in maniera esponenziale nel settore privato. Le Big Tech, con le loro risorse illimitate, stanno sviluppando e impiegando modelli proprietari che, di fatto, stanno sottraendo la conoscenza specifica e l'esperienza pluriennale dei propri dipendenti. Questo non è un atto di scelta volontaria per il lavoratore, ma una costrizione imposta dalle metriche aziendali, che obbligano a riversare studi, certificazioni ed esperienze dirette nei database dell'IA.

Questo furto intellettuale si lega al problema successivo, generando un circolo vizioso:

L'IA funge da acceleratore di dequalificazione: Sebbene l'IA, per ora, non possa sostituire completamente l'essere umano, è perfettamente in grado di fornire risposte estremamente avanzate, frutto di anni di studio ed esperienza, a un utilizzatore non qualificato.

Spostamento del lavoro e deprofessionalizzazione: Le aziende utilizzano queste capacità per delocalizzare mansioni complesse in paesi a basso costo, assumendo personale con minori qualifiche o esperienza, ma che può operare efficacemente grazie al supporto immediato e "sintetico" dell'LLM.

La gravità non sta nel semplice, e già noto, spostamento di manodopera, ma nel furto sistematico dell'intelletto umano. Una persona impiega anni di studi, sacrifici, certificazioni e pratica per raggiungere un livello di competenza elevato. Se questa base di conoscenza viene sottratta, digitalizzata e poi fornita a chi non ha investito nulla di tutto ciò, siamo destinati a chiederci: quale sarà, in futuro, il ruolo dell'essere umano esperto? Anche ammettendo che l'IA non lavori mai in piena autonomia, che ruolo resterà all'uomo se la sua conoscenza è stata espropriata?

È urgente che la regolamentazione si concentri su questo punto esatto: impedire, con severe conseguenze, che il trasferimento di conoscenza dai lavoratori all'IA venga utilizzato come strumento per delocalizzare e dequalificare il lavoro. Permettere ciò significa condannare le nuove generazioni all'instupidimento professionale, distruggendo l'unica cosa che ci ha permesso l'evoluzione e che ci distingue. Non possiamo permettere che il progresso tecnologico diventi un arretramento intellettuale, se no non avrà proprio più senso sentirci umani, e sicuramente si diventerà più schiavi, schiavi dei "pochi" che avranno il controllo sull'IA.

Aggiungo che l'idea per cui "l'essere umano deve adattarsi e affrontare nuovi studi" o che "studiare l'IA oggi aiuterà per il futuro" sono, nella migliore delle ipotesi, pure fantasie.

Considerando la velocità esponenziale dell'evoluzione tecnologica, arriverà un punto in cui le LLM, o peggio ancora, le vere IA potenziate dai server quantistici, avranno sempre la priorità e il sopravvento cognitivo.

Potrebbe esserci un breve intervallo di qualche mese o anno in cui emergeranno nuove discipline e percorsi di studio volti a "lavorare con l'IA", ma anche questi spazi di competenza sono destinati a scomparire rapidamente.

La ragione è semplice: non servirà più nemmeno lo sviluppatore, l'ingegnere o il creatore dell'IA (LLM) stessa.

L'obiettivo finale è che l'Intelligenza Artificiale si sviluppi e si potenzi autonomamente. Questo processo è già in atto, come dimostra la costruzione di datacenter colossali dedicati esclusivamente all'addestramento e al miglioramento delle IA da parte di altre IA. Parallelamente, si stanno sviluppando piccole centrali nucleari (come le SMR - Small Modular Reactors) dedicate all'alimentazione di queste enormi infrastrutture di calcolo, sottolineando che il collo di bottiglia non sarà più l'energia o il know-how umano, ma solo la capacità di calcolo stessa.

Quando l'IA diventerà il proprio architetto e costruttore, ogni tentativo umano di "stare al passo" sarà futile. L'adattamento non è una strategia sostenibile contro un'entità che si auto-migliora a una velocità sovrumana.

[h.rorschach]

Falso

[LMCH]

È evidente che anche questo ennesimo test è stato fatto male (non so se per incompetenza o di proposito).
I LLM sono solo dei tool e non diventeranno mai AI generaliste.
Hanno limiti intrinsechi che non possono esse superati..
Per questo gente tipo Yann LeCun alla fine ha mollato Meta e lavora allo sviluppo di LWM.

Sfortunatamente i LLM sono utilissimi per filtrare ed analizzare moli di dati enormi con intefacce alla portata di completi idioti ( con una percentuale di risultati errati non accettabile se a fare lo stesso compito fossero esseri umani).
Questo illude quelli che non comprendono davvero cosa sono i LLM che "le AI generaliste siano quasi arrivate", ma non è così.

[mozzarello]

Originariamente inviato da h.rorschach

Falso

Tu, se avessi un figlio giovane, lo manderesti a studiare o gli insegneresti a rubare? Perché nel primo caso sicuro non gli servirà a nulla tra 5-10 anni, nel secondo invece può tornare utile.

[h.rorschach]

Originariamente inviato da mozzarello

Tu, se avessi un figlio giovane, lo manderesti a studiare o gli insegneresti a rubare? Perché nel primo caso sicuro non gli servirà a nulla tra 5-10 anni, nel secondo invece può tornare utile.

La domanda ipotetica dice più su di te che su di me

[aqua84]

Originariamente inviato da mozzarello

L'IA diventerà se non più brava di qualsiasi umano, preferibile a chiunque, in qualsiasi attività necessiti ora o in futuro l'uso del cervello, nel giro di massimo 5 anni. Manco avrà più senso studiare.

Quindi l'umanità è già fottuta.

Caspita!!
Vado ad ammazzarmi subito…

[mozzarello]

Originariamente inviato da h.rorschach

La domanda ipotetica dice più su di te che su di me

Dice che non ho figli e non ne voglio, crescerli per vederli nel peggior mondo che la storia umana abbia visto.ì, ma anche no.

Originariamente inviato da aqua84

Caspita!!
Vado ad ammazzarmi subito…

Il succo è che tra qualche anno (ma già ora per un diverse discipline) studiare non servirà più a nulla, non varrà più il concetto "vai a studiare che così trovi lavoro e guadagni soldi", perché non sarà più vero.

Non serviranno più professionisti perché ci sarà l'IA.

Mi serve il logo per la mia azienda? Chiedo all'IA
Mi serve creare una pubblicità di 30 secondi da mandare in TV? Chiedo alla IA
Devo tradurre qualsiasi cosa, in qualiasiasi lingua, in tempo reale o meno? Chiedo alla IA
Voglio fare un album che sia una via di mezzo tra Sgt. Pepper, Exile on Main St. e A Night at the Opera? Chiedo alla IA

CI saranno sempre più SW effimeri: mi serve un sito in cui la gente si iscriva per la lotteria della sagra di paese, un sito chiaramente usa e getta, fatta la sagra si può chiudere, lo faccio fare alla IA.

Manca poco che ci faremo fare le app android direttamente a Gemini.

Per qualsiasi cosa in cui non sarà bisogno dell'intervento fisico umano, chiunque potrà chiedere aiuto alla IA invece che pagare un professionista.

[pachainti]

Ancora con questi generatori di stronzate? ChatGPT is bullshit.
Servono solo per tenere a galla l'economia USA, non ci sono avanzamenti tangibili nei modelli dagli anni 90, sono aumentati solo i dati a disposizione e la potenza di calcolo.

[mozzarello]

Guarda che non è che se continui a scriverlo diventa vero eh

[pachainti]

Originariamente inviato da mozzarello

Guarda che non è che se continui a scriverlo diventa vero eh

Smetterò di perdere tempo a rispondere, quando non vedrò più scritte in giro certe stronzate sia dai giornalisti sia dagli utenti.

[barzokk]

Originariamente inviato da mozzarello

Guarda che non è che se continui a scriverlo diventa vero eh

la stessa identica cosa vale per quello che hai scritto tu
ti piace sognare ? buon per te
hai la logorrea ? prova con l'Imodium, o chiedi alla IA

[mozzarello]

Originariamente inviato da pachainti

Smetterò di perdere tempo a rispondere, quando non vedrò più scritte in giro certe stronzate sia dai giornalisti sia dagli utenti.

Originariamente inviato da barzokk

la stessa identica cosa vale per quello che hai scritto tu
ti piace sognare ? buon per te
hai la logorrea ? prova con l'Imodium, o chiedi alla IA

Il problema però è che se io conto fino a 1000 in 10 minuti, sapende cosa sto facendo, cosa sono i numeri, perché sono in quella sequenza e cosa significhi fare quello che sto facendo, mentre una IA lo fa in 10 millisecondi, senza avere la più pallida idea di non solo cosa stia facendo, ma cosa sia essa stessa e manco abbia coscienza di se, l'IA è migliore di me a contare e sarà preferibile chiedere a lei di contare in futuro.

Non ho capito il passaggio sul sognare, è più un incubo semmai.

[barzokk]

Originariamente inviato da mozzarello

Non ho capito il passaggio sul sognare, è più un incubo semmai.

sogno, incubo o suggestione, di tutto quello che hai scritto, un LLM non può farlo
e altri modelli all'orizzonte non se ne vedono

PS: a parte la traduzione