Link alla notizia: https://www.hwupgrade.it/news/sicurezza-software/il-creatore-di-curl-non-le-manda-a-dire-l-hype-su-mythos-e-soprattutto-marketing_153544.html

Claude Mythos, il modello AI di Anthropic presentato come troppo pericoloso per il rilascio pubblico, ha scansionato le 178.000 righe di codice C di curl e ha trovato cinque vulnerabilità "confermate". Il security team di curl ne ha validata solo una, di severità bassa. Il creatore di curl la chiama marketing

Click sul link per visualizzare la notizia.

Quindi questi modelli arrivano facilmente a saturazione e da quel punto in poi non danno risultati utili. Servono solo per il nuovo codice.

Il problema non è il modello. Ma il fatto che curl abbia 178.000 linee di codice. :rolleyes:

Quindi questi modelli arrivano facilmente a saturazione e da quel punto in poi non danno risultati utili. Servono solo per il nuovo codice.

Non é il modello, viene esaurito lo spazio di ricerca con quel specifico insieme di tool di supporto e con quel specifico set di sorgenti da analizzare

Mythos é fondamentalmente un LLM con un bel mucchietto di codice typescript di contorno che gestisce l'orchestrazione di un insieme di tool "classici" di analisi statica, fuzzying, penetration testing, esecuzione di test unit, ecc.

Quando si lancia un analisi di un certo insieme di sorgenti, non fa altro che usare l'output dei tool "classici" come input per selezionare che parametri passare ai tool nell'invocazione successiva e così via fino a quando a partire da malfunzionamenti e comportamenti anomali converge sugli input che li causano e sul pezzo di codice dove avviene il malfunzionamento.

Non é tanto il modello che arriva a saturazione, ma il set di vettori di input e parametri di test che viene esaurito con quella specifica configurazione di strumenti "classici".

Anche senza cambiare l'LLM, basta aggiungere un nuovo tool (che ad esempio fa un analisi statica più profonda a livello semantico) ed ecco Mythos 2 che trova nuovi bug che prima erano sfuggiti (spendendo MOLTI più token, ovviamente).

Linux ha 40 milioni di linee di codice ed è uno dei progetti più grandi o il più grande. Quindi 178 mila righe di codice è già un progetto equivalente a tanti altri progetti importanti cui queste AI possono dare un momentaneo contributo e poi saturano.

Chiedendo a una AI pare che PHP abbia 800 mila linee di codice, molte di più di Curl ma siamo su un fattore x4-x5. Quindi vedremo quanti bug saranno scoperti nei codici più diffusi e dalle dimensione normali. Secondo me c'è da spettarsi la stessa saturazione avuta con Curl.

Quindi questi modelli arrivano facilmente a saturazione e da quel punto in poi non danno risultati utili. Servono solo per il nuovo codice.

I bug non li trova un modello, ma un agente con una specifica pipeline, il modello è solo il cuore del sistema, per cui se i bug fossero infiniti ci sarebbe sempre margine per trovarne uno nuovo. Alla fine i modelli rimangono stocastici, imbroccare la scelta giusta è una questione di probabilità, per cui se hai risorse computazionali infinite trovi anche bug infiniti...

... ma i bug non possono essere infiniti, questo è il punto, ci sta che una AI avanzata semplicemente li trovi tutti.

Che Anthropic oggi sia tutto marketing e distintivo ormai è cosa nota, ma indubbiamente questo marketing funziona visto che sta crescendo così tanto rispetto a OpenAI

Il problema non è il modello. Ma il fatto che curl abbia 178.000 linee di codice. :rolleyes:

E' scritto in C, metà sono header, poi in C hai un set molto ridotto di funzionalità già incluse nel linguaggio per cui devi usare 20 istruzioni dove un linguaggio ad alto livello come Python ne usa 3

Il problema non è il modello. Ma il fatto che curl abbia 178.000 linee di codice. :rolleyes:

Curl è anche libcurl, ancora più ubiquo di curl stesso.

poi sicuro minimo 1/3 delle LOC sono header, e più di metà sono test

Il problema non è il modello. Ma il fatto che curl abbia 178.000 linee di codice. :rolleyes:

E perche' sarebbe un problema?

Confermo che è tutta fuffa ed esiste come il resto per mantenere la bolla bella gonfia

Mah, sicuramente ci sara' marketing, ma a me pare piu' un gongolamento (anche giustificato eh!) dei programmatori di curl che fanno capire come il loro software sia praticamente privo di difetti. La IA in ambito sviluppo la trovo personalmente un buon strumento. Ovvio che non fa le magie, non puoi dirgli "fammi un'applicazione crossplatform per gestire una catena di negozi di abbigliamento" e ti fa tutto magicamente... La testa dello sviluppatore ci deve essere tutta, deve essere lui ad organizzare il progetto (clean code o altre metodologie), creare le librerie, le interfacce etc, ma una volta che tutto e' organizzato aiuta molto nella bassa manovalanza, tipo "fammi i test per questa classe", "aiutami a capire perche' con questi input ottengo X invece che Y" e via di questo passo. E' uno strumento che aiuta a risparmiare tempo nella bassa manovalanza (che e' uno dei punti in cui si perde piu' tempo effettivamente).

Poi c'e' chi spende 1000 euro al mese per avere 3 IA e una decina di agent che lavorano H24 per fare il lavoro che farebbe una decina di sviluppatori, e dicono che vanno alla grande. Personalmente non ho esperienza per capire come facciano e se quello che dicono e' fuffa, ma si tratta sempre di saper utilizzare uno strumento come si deve (Word puoi utilizzarlo per scrivere lettere o per automatizzare task molto complessi con le macro, dipende che esperienza hai nel suo utilizzo ed a cosa ti serve, ad esempio).