Intel BOT altera i risultati, Geekbench invita a non fidarsi dei risultati delle CPU che lo supportano

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/cpu/in...no_151760.html

Primate Labs, sviluppatore di Geekbench, ha introdotto un avviso all'interno del benchmark che avverte gli utenti dell'inaffidabilità dei risultati. La causa è Binary Optimization Tool, uno strumento di Intel pensato per ottimizzare le prestazioni in gioco delle CPU, ma che rischia di invalidare i numeri dei benchmark

Click sul link per visualizzare la notizia.

[AkiraFudo]

Bel trucchetto! Quindi riconosce specificatamente il codice di geekbench e lo modifica per farlo andare più veloce...Mi ricorda quando nvidia riconosceva il 3dmark03 e sostituiva gli shader con versioni più leggere e imprecise e riduceva anche il dettaglio nelle zone meno visibili... Sarà che oggi intel è in parte di nvidia?

bha

[coschizza]

Originariamente inviato da AkiraFudo

Bel trucchetto! Quindi riconosce specificatamente il codice di geekbench e lo modifica per farlo andare più veloce...Mi ricorda quando nvidia riconosceva il 3dmark03 e sostituiva gli shader con versioni più leggere e imprecise e riduceva anche il dettaglio nelle zone meno visibili... Sarà che oggi intel è in parte di nvidia?

bha

lo scopo del software è quello non è un trucco, ottimizza il codice live, se non vuoi usarlo non farlo nessuno ti obbliga sei tu che volutamente devi utilizzarlo scaricarl oe installarlo, se non vuoi avere prestazioni migliori tieni quelle standard ma a questo punto perche comprare la nuova cpu se non la sfrutti.
Il caso di nvidia era diverso loro imbrogliavano in questo caso la cpu diventa piu veloce, 2 cose diverse

Lo scopo è quello di ottimizzare codice scritto male che non considera i var iP core e E core quindi non sa come distrubuirlo sulla cpu, i software moderni non hanno bisogno di questa ottimizzazione se fatti bene.

[Fantapollo]

Originariamente inviato da AkiraFudo

Bel trucchetto! Quindi riconosce specificatamente il codice di geekbench e lo modifica per farlo andare più veloce...

Mah, magari significa che Geekbench non sia ottimizzato per l'architettura,
e che i risultati da considerare corretti siano quelli con il BOT

[coschizza]

Originariamente inviato da Fantapollo

Mah, magari significa che Geekbench non sia ottimizzato per l'architettura,
e che i risultati da considerare corretti siano quelli con il BOT

secondo me hai colto perfettamene il punto questo test non fa lui dei test fatti in casa ma usa dei "real-world scenarios" fatti in modalita multipiattaforma che evidentemente non sono tutti ottimizzati per una tecnologia ibrida

[AkiraFudo]

Secondo me state sottovalutando un punto fondamentale.

Qui non stiamo parlando di "ottimizzazione normale" del codice o di una CPU che semplicemente va più forte. Il problema è che questo tool interviene sul binario di applicazioni specifiche tra cui un benchmark... Geekbench.

E questo cambia completamente il discorso.

Un benchmark deve essere uguale per tutti ed eseguito nello stesso modo su tutte le CPU

Se invece una CPU prende quel codice e lo riscrive al volo solo perché riconosce l’app, non stai più confrontando le CPU, ma la CPU + ottimizzazione mirata per quel benchmark

Il paragone con NVIDIA che ho fatto è esagerato (li c'erano anche modifiche alla qualità) ma il concetto di base è simile... riconoscimento del benchmark e comportamento "speciale".

Dire invece che "è solo codice scritto male che viene ottimizzato"

falsissimo, perché Geekbench non deve essere "ottimizzato" per una singola architettura, deve essere neutro e comparabile.
Se ogni vendor si ottimizza il benchmark a modo suo, il confronto perde completamente senso. Altrimenti facciamo direttamente Geekbench Intel edition e AMD edition e ognuno vince a casa sua.

E infatti non a caso Geekbench stesso sta flaggando questi risultati come non validi.

Poi che il tool migliori davvero alcune performance è un altro discorso, ma allora va testato su software reali, non su un benchmark che viene esplicitamente preso di mira.

[Final50]

Appena finito di leggere ho pensato "sicuro ci sarà coschizza a difendere sta roba".

Comunque il punto è cosa modifica realmente, dove sta l'ottimizzazione.
Modificando il binario potrebbe benissimo alterare i valori con il quale vengono calcolati i punteggi...

[AlexSwitch]

In questo articolo viene spiegato il funzionamento di Intel BOT:

https://www.igorslab.de/en/intel-int...6-performance/

Nessuna modificazione al volo del binario in esecuzione, piuttosto ne viene analizzato il funzionamento ed individuati i presunti colli di bottiglia nei rispettivi processi di elaborazione/threads per essere poi usati come profilo per " adattare " la CPU a quella specifica applicazione.

[AkiraFudo]

Comunque venga descritto (profiling, adattamento, ecc.), il punto fondamentale è che cambia come vengono usate le istruzioni sulla CPU.

Cambia quindi come il codice viene eseguito, e questa cosa NON avviene in modo generale, ma solo per applicazioni specifiche riconosciute, cioè una whitelist, dove dentro c'è anche Geekbench.

Quindi di fatto hai lo stesso codice e la stessa CPU, ma un comportamento diverso a seconda dell’app.
Se esegui codice simile in un contesto reale, non è detto che ottieni le stesse performance, proprio perché quella ottimizzazione non è generale.

Per un uso reale può anche essere interessante, ma per un benchmark è esattamente il problema: non stai più confrontando condizioni uguali.

Ed è per questo che Geekbench li considera non comparabili, indipendentemente da come venga implementato sotto al cofano.

Geekbench stesso lo dice chiaramente:
https://www.geekbench.com/blog/2026/...mization-tool/

Il tool modifica le sequenze di istruzioni effettive, con aumenti fino al +40% in alcuni test, e i risultati non sono comparabili.

L’articolo di Igor’s Lab è fatto bene, ma descrive il funzionamento dal punto di vista di Intel, senza entrare nel problema della comparabilità nei benchmark.

[blade9722]

Originariamente inviato da AkiraFudo

Secondo me state sottovalutando un punto fondamentale.

Qui non stiamo parlando di "ottimizzazione normale" del codice o di una CPU che semplicemente va più forte. Il problema è che questo tool interviene sul binario di applicazioni specifiche tra cui un benchmark... Geekbench.

E questo cambia completamente il discorso.

Un benchmark deve essere uguale per tutti ed eseguito nello stesso modo su tutte le CPU

Se invece una CPU prende quel codice e lo riscrive al volo solo perché riconosce l’app, non stai più confrontando le CPU, ma la CPU + ottimizzazione mirata per quel benchmark

Il paragone con NVIDIA che ho fatto è esagerato (li c'erano anche modifiche alla qualità) ma il concetto di base è simile... riconoscimento del benchmark e comportamento "speciale".

Dire invece che "è solo codice scritto male che viene ottimizzato"

falsissimo, perché Geekbench non deve essere "ottimizzato" per una singola architettura, deve essere neutro e comparabile.
Se ogni vendor si ottimizza il benchmark a modo suo, il confronto perde completamente senso. Altrimenti facciamo direttamente Geekbench Intel edition e AMD edition e ognuno vince a casa sua.

E infatti non a caso Geekbench stesso sta flaggando questi risultati come non validi.

Poi che il tool migliori davvero alcune performance è un altro discorso, ma allora va testato su software reali, non su un benchmark che viene esplicitamente preso di mira.

Geekbench deve prima guardare internamente.

https://blog.theldus.moe/posts/bewar...ch-v6-results/

Lato x64 ci sono due versioni dell'ultima release del benchmark: per CPU AVX2 e senza. Il problema è che quella senza supporta solo le SSE2, con il risultato che le CPU senza queste istruzioni vengono penalizzate di un fattore prossimo a due senza alcuna corrispondenza con la realtà. E' lui il primo ad essere ottimizzato diversamente a seconda delle architetture.
Piuttosto avrebbero dovuto fare come Cinebench, che dalla versione R24 non funziona se non hai quelle istruzioni.

[h.rorschach]

Scritto bene o male non cambia niente, è un benchmark e dev'essere uguale per tutti a prescindere, sennò i numeri non hanno significato

[fra55]

E brava intel

[ninja750]

Originariamente inviato da coschizza

lo scopo del software è quello non è un trucco, ottimizza il codice live

[devil_mcry]

Originariamente inviato da AkiraFudo

Bel trucchetto! Quindi riconosce specificatamente il codice di geekbench e lo modifica per farlo andare più veloce...Mi ricorda quando nvidia riconosceva il 3dmark03 e sostituiva gli shader con versioni più leggere e imprecise e riduceva anche il dettaglio nelle zone meno visibili... Sarà che oggi intel è in parte di nvidia?

bha

Secondo me il discorso è diverso. Se lo facesse solo nei benchmark è un trucco, ma se la cosa funziona su tutti i software è una ottimizzazione perché quei benefici poi li hai tangibili

[Mparlav]

L'Intel Application Optimization non funziona su tutti i sw, ma solo su quelli che Intel ha o avrà voglia di ottimizzare in modo specifico.

Se lo fa' su un benchmark come Geeokbench è, senza girarci troppo intorno con le parole, solo barare per gonfiare i numeri.