L'IA scopre oltre 100 vulnerabilità in Mozilla Firefox in due settimane

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/l-...ne_151054.html

Claude, il modello di IA sviluppato da Anthropic, ha individuato oltre 100 bug nel browser Mozilla Firefox in due settimane, inclusi 14 problemi di sicurezza gravi. Mozilla intende integrare questo metodo nel proprio sviluppo per migliorare la sicurezza del software open source

Click sul link per visualizzare la notizia.

[pachainti]

Ottima notizia, tuttavia occorre anche considerare quanti falsi positivi ci siano. Se a fronte di X bug trovati, ci sono Y>>X bug falsi, è una perdita di tempo verificare il tutto.
Alcuni esempi di AI slop nei programmi bug bounty:
AI slop and fake reports are coming for your bug bounty programs
AI slop security reports submitted to curl4
Remove Bug Bounty program

From Reviewers’ Lens: Understanding Bug Bounty Report Invalid Reasons with LLMs
Our results show that large language models can handle bug bounty report validation fairly well in general, but they still struggle to identify invalid cases and often accept reports that only look like real vulnerabilities. Fine-tuning a task-specific model such as RoBERTa helps reduce this bias and makes the predictions more balanced between valid and invalid reports. However, the persistent performance gap across classes suggests that the models rely mainly on surface-level linguistic patterns rather than deeper reviewer reasoning.

[Hiei3600]

Originariamente inviato da pachainti

Ottima notizia, tuttavia occorre anche considerare quanti falsi positivi ci siano. Se a fronte di X bug trovati, ci sono Y>>X bug falsi, è una perdita di tempo verificare il tutto.
Alcuni esempi di AI slop nei programmi bug bounty:
AI slop and fake reports are coming for your bug bounty programs
AI slop security reports submitted to curl4
Remove Bug Bounty program

From Reviewers’ Lens: Understanding Bug Bounty Report Invalid Reasons with LLMs
Our results show that large language models can handle bug bounty report validation fairly well in general, but they still struggle to identify invalid cases and often accept reports that only look like real vulnerabilities. Fine-tuning a task-specific model such as RoBERTa helps reduce this bias and makes the predictions more balanced between valid and invalid reports. However, the persistent performance gap across classes suggests that the models rely mainly on surface-level linguistic patterns rather than deeper reviewer reasoning.

Critica legittima, però bisognerebbe anche ricordare che i falsi positivi esistevano / esistono anche quando sono umani in carne ed ossa a riportare dei bug - è un po come quando certa gente critica l'IA (specie qualche anno fa) che fa artwork che sono praticamente degli sgorbi, dimenticandosi che anche gli umani per primi fanno artwork orripilanti, specie quando sono ancora dei dilettanti.

Detto questo si spera che in futuro l'IA sarà sempre più precisa nei bug report, per adesso già non è malaccio a mio avviso

[pachainti]

Originariamente inviato da Hiei3600

Critica legittima, però bisognerebbe anche ricordare che i falsi positivi esistevano / esistono anche quando sono umani in carne ed ossa a riportare dei bug - è un po come quando certa gente critica l'IA (specie qualche anno fa) che fa artwork che sono praticamente degli sgorbi, dimenticandosi che anche gli umani per primi fanno artwork orripilanti, specie quando sono ancora dei dilettanti.

La differenza fondamentale è che un modello LLM produce una quantità immensa di slop di almeno due-tre ordini di grandezza rispetto a un umano. L'altro grosso problema è che un LLM non lo fa volontariamente è che non capisce nulla di quello che fa, questo è ancora peggio. ChatGPT is bullshit.

Originariamente inviato da Hiei3600

Detto questo si spera che in futuro l'IA sarà sempre più precisa nei bug report, per adesso già non è malaccio a mio avviso

Secondo i numeri, e quindi i fatti, non funziona affatto bene, ma ognuno è libero di credere quello che preferisce.

[barzokk]

Originariamente inviato da pachainti

La differenza fondamentale è che un modello LLM produce una quantità immensa di slop di almeno due-tre ordini di grandezza rispetto a un umano. L'altro grosso problema è che un LLM non lo fa volontariamente è che non capisce nulla di quello che fa, questo è ancora peggio. ChatGPT is bullshit.



Secondo i numeri, e quindi i fatti, non funziona affatto bene, ma ognuno è libero di credere quello che preferisce.

prima che arrivi qualcuno a ragliare "eh mah pachianti posta sempre le stesse storie"
è scritto nella news:

https://www.techspot.com/news/111600...efox-bugs.html
Mozilla emphasized that Anthropic's approach to bug reporting differs significantly from other AI-driven efforts.
Some major open-source projects, including curl, have been forced to discourage or outright ban AI-generated contributions after being flooded with low-quality submissions from users attempting to earn bug bounty rewards without proper vetting.

se invece l'approccio è diverso, visto che la IA nel produrre codice da scimmia ammaestrata ha buoni risultati, diamo il beneficio del dubbio:

Many of the vulnerabilities uncovered through Anthropic's technique are typically discovered through fuzzing, an automated testing method that feeds unexpected inputs into software to trigger crashes. However, Mozilla said the AI model also identified several classes of logic bugs that traditional fuzzing techniques often miss.

Insomma generare stronzate sembra proprio quello che è stato utile,
che vogliamo di più ?

[pachainti]

Originariamente inviato da barzokk

prima che arrivi qualcuno a ragliare "eh mah pachianti posta sempre le stesse storie"
è scritto nella news:

https://www.techspot.com/news/111600...efox-bugs.html
Mozilla emphasized that Anthropic's approach to bug reporting differs significantly from other AI-driven efforts.
Some major open-source projects, including curl, have been forced to discourage or outright ban AI-generated contributions after being flooded with low-quality submissions from users attempting to earn bug bounty rewards without proper vetting.

se invece l'approccio è diverso, visto che la IA nel produrre codice da scimmia ammaestrata ha buoni risultati, diamo il beneficio del dubbio:

Many of the vulnerabilities uncovered through Anthropic's technique are typically discovered through fuzzing, an automated testing method that feeds unexpected inputs into software to trigger crashes. However, Mozilla said the AI model also identified several classes of logic bugs that traditional fuzzing techniques often miss.

Insomma generare stronzate sembra proprio quello che è stato utile,
che vogliamo di più ?

Concordo su tutto. Grazie per la precisazione.

[Giuss]

L'AI è di fatto un software che trova bug in un altro software, quale dei due ha ragione?
C'è sempre bisogno del controllo umano per vedere se le rilevazioni sono corrette secondo me

[gabrieleromano]

la questione non è tanto se l'AI ileva 100 vulnerabilià in 2 settimane, quanto piuttosto se l'AI riesce scovare bug per gli hacker...