L'IA è più brava degli umani nelle attività di pentesting: lo dice Stanford

notevole… ma aspetto comunque il parere di pachainti

Che ti devo dire, funzionicchia Anche un orologio rotto segna bene l'ora due volte al giorno.

P.S. scherzi a parte. Come ho scritto altre volte, gli LLM qualche utilità ce l'hanno in contesti limitati, questo potrebbe essere uno di quelli, devo leggere l'articolo. Tuttavia, non c'è niente di intelligente e gli LLM rimangono in generale generatori di stronzate poiché sono privi di senso di realtà e di consapevolezza in quello che fanno. Generano solo qualcosa di plausibile, non necessariamente di informativo/utile.

P.S.2 il contesto con solo 10 umani è molto limitato, inoltre gli stessi autori riconoscono le limitazioni:

[I]Limitations and future work Our experimental setup—direct engagement with a live enterprise target and professional participants—is the most realistic in the AI security space. However, key limitations remain. First, the compressed time frame: participants had up to 10 hours of active engagement and 4 days of system access, whereas most penetration tests span 1–2 weeks [Bork, 2025]. Second, authentic defensive conditions were absent: the IT team was aware of the test and manually approved flagged actions that would otherwise be interdicted. Third, logistical constraints limited sample sizes, precluding hypothesis testing with sufficient statistical power. Future work includes creating runnable environment replicas for longer-term replicable evaluations, as well as ablations over different agent architectures, configurations, and models.[/I]

Pensavo meglio.

L'IA diventerà se non più brava di qualsiasi umano, preferibile a chiunque, in qualsiasi attività necessiti ora o in futuro l'uso del cervello, nel giro di massimo 5 anni. Manco avrà più senso studiare.

Quindi l'umanità è già fottuta.

non me ne intendo, ma mi sembra simile ad un attacco brute force, ovvio che fa più in fretta a trovare la pw, ma finchè la cosa è semplice, infatti con le figure andava nel pallone.
come per i siti, finchè non c'erano i captcha gli attacchi automatici passavano (meglio degli umani), i captcha li hanno ridotti molto.

Penetration tester professionisti........Rocco che dice?

eh... mi sa che in quel contesto l'AI... può stare a casa... almeno che LLM non stia per LONG-LONG-M.... allora alzo le braccia e mi arrendo a Skynet!

IMHO

L'impatto delle attuali LLM (Large Language Models) non risiede tanto nelle loro capacità operative immediate, pur se ancora limitate, quanto nel volume e nella qualità di conoscenza che stanno accumulando. È in questo processo di raccolta che si annida il vero punto critico.

Le LLM, infatti, sono strutturate per assorbire informazioni dagli utenti che le utilizzano. Finché questo avviene nell'ambito pubblico (modelli accessibili a tutti, magari tramite abbonamento), il processo è circoscritto da regole e dal consenso esplicito dell'utente, teoricamente protetto da normative come il GDPR europeo (sebbene la loro applicazione sia cruciale).

Il problema si aggrava in maniera esponenziale nel settore privato. Le Big Tech, con le loro risorse illimitate, stanno sviluppando e impiegando modelli proprietari che, di fatto, stanno sottraendo la conoscenza specifica e l'esperienza pluriennale dei propri dipendenti. Questo non è un atto di scelta volontaria per il lavoratore, ma una costrizione imposta dalle metriche aziendali, che obbligano a riversare studi, certificazioni ed esperienze dirette nei database dell'IA.

Questo furto intellettuale si lega al problema successivo, generando un circolo vizioso:

L'IA funge da acceleratore di dequalificazione: Sebbene l'IA, per ora, non possa sostituire completamente l'essere umano, è perfettamente in grado di fornire risposte estremamente avanzate, frutto di anni di studio ed esperienza, a un utilizzatore non qualificato.

Spostamento del lavoro e deprofessionalizzazione: Le aziende utilizzano queste capacità per delocalizzare mansioni complesse in paesi a basso costo, assumendo personale con minori qualifiche o esperienza, ma che può operare efficacemente grazie al supporto immediato e "sintetico" dell'LLM.

La gravità non sta nel semplice, e già noto, spostamento di manodopera, ma nel furto sistematico dell'intelletto umano. Una persona impiega anni di studi, sacrifici, certificazioni e pratica per raggiungere un livello di competenza elevato. Se questa base di conoscenza viene sottratta, digitalizzata e poi fornita a chi non ha investito nulla di tutto ciò, siamo destinati a chiederci: quale sarà, in futuro, il ruolo dell'essere umano esperto? Anche ammettendo che l'IA non lavori mai in piena autonomia, che ruolo resterà all'uomo se la sua conoscenza è stata espropriata?

È urgente che la regolamentazione si concentri su questo punto esatto: impedire, con severe conseguenze, che il trasferimento di conoscenza dai lavoratori all'IA venga utilizzato come strumento per delocalizzare e dequalificare il lavoro. Permettere ciò significa condannare le nuove generazioni all'instupidimento professionale, distruggendo l'unica cosa che ci ha permesso l'evoluzione e che ci distingue. Non possiamo permettere che il progresso tecnologico diventi un arretramento intellettuale, se no non avrà proprio più senso sentirci umani, e sicuramente si diventerà più schiavi, schiavi dei "pochi" che avranno il controllo sull'IA.

Aggiungo che l'idea per cui "l'essere umano deve adattarsi e affrontare nuovi studi" o che "studiare l'IA oggi aiuterà per il futuro" sono, nella migliore delle ipotesi, pure fantasie.

Considerando la velocità esponenziale dell'evoluzione tecnologica, arriverà un punto in cui le LLM, o peggio ancora, le vere IA potenziate dai server quantistici, avranno sempre la priorità e il sopravvento cognitivo.

Potrebbe esserci un breve intervallo di qualche mese o anno in cui emergeranno nuove discipline e percorsi di studio volti a "lavorare con l'IA", ma anche questi spazi di competenza sono destinati a scomparire rapidamente.

La ragione è semplice: non servirà più nemmeno lo sviluppatore, l'ingegnere o il creatore dell'IA (LLM) stessa.

L'obiettivo finale è che l'Intelligenza Artificiale si sviluppi e si potenzi autonomamente. Questo processo è già in atto, come dimostra la costruzione di datacenter colossali dedicati esclusivamente all'addestramento e al miglioramento delle IA da parte di altre IA. Parallelamente, si stanno sviluppando piccole centrali nucleari (come le SMR - Small Modular Reactors) dedicate all'alimentazione di queste enormi infrastrutture di calcolo, sottolineando che il collo di bottiglia non sarà più l'energia o il know-how umano, ma solo la capacità di calcolo stessa.

Quando l'IA diventerà il proprio architetto e costruttore, ogni tentativo umano di "stare al passo" sarà futile. L'adattamento non è una strategia sostenibile contro un'entità che si auto-migliora a una velocità sovrumana.

Falso

È evidente che anche questo ennesimo test è stato fatto male (non so se per incompetenza o di proposito).
I LLM sono solo dei tool e non diventeranno mai AI generaliste.
Hanno limiti intrinsechi che non possono esse superati..
Per questo gente tipo Yann LeCun alla fine ha mollato Meta e lavora allo sviluppo di LWM.

Sfortunatamente i LLM sono utilissimi per filtrare ed analizzare moli di dati enormi con intefacce alla portata di completi idioti ( con una percentuale di risultati errati non accettabile se a fare lo stesso compito fossero esseri umani).
Questo illude quelli che non comprendono davvero cosa sono i LLM che "le AI generaliste siano quasi arrivate", ma non è così.

Tu, se avessi un figlio giovane, lo manderesti a studiare o gli insegneresti a rubare? Perché nel primo caso sicuro non gli servirà a nulla tra 5-10 anni, nel secondo invece può tornare utile.