FutureMark declassifica Galaxy Note 3, HTC One e tutti gli smartphone che alterano i benchmark

FutureMark declassifica Galaxy Note 3, HTC One e tutti gli smartphone che alterano i benchmark

La società alla base di 3D Mark, disponibile anche per dispositivi mobile, ha cancellato dalla classifica tutti gli smartphone che hanno violato le regolamentazioni della propria applicazione

di Nino Grasso pubblicata il , alle 12:01 nel canale Telefonia
HTCGalaxySamsung
 

Il mercato degli smartphone è in grosso fermento negli ultimi anni, in cui i reparti di marketing svolgono un ruolo principale nelle vendite di un determinato modello. A diverse tipologie d'utenza vengono rivolti diversi messaggi, e fra questi ci sono probabili futuri acquirenti che valutano le differenze fra smartphone in base alla potenza grezza che riescono ad esprimere.

È proprio per questo che i benchmark sintetici fanno parte di quella sorta di concorrenza indiretta fra diversi produttori, e sono rimasti nel corso degli anni gli strumenti più precisi per analizzare oggettivamente le prestazioni di un dispositivo rispetto ad altri modelli, anche se come sappiamo non sempre a risultati superiori corrisponde parallelamente un'esperienza d'uso preferibile per l'utente finale.

FutureMark 3dMark

Poco più di un mese fa, ArsTechnica ha sviscerato un comportamento anomalo del governor della CPU di Galaxy Note 3, che faceva registrare risultati superiori rispetto ad altri smartphone con lo stesso hardware integrato. Forzando il dispositivo a frequenze superiori rispetto a quelle ottenibili durante l'uso con le applicazioni tradizionali, il phablet di Samsung otteneva risultati del 20-50% superiori, alterando in qualche modo l'esito oggettivo dello stesso test condotto.

Dopo pochi giorni Anandtech ha scoperto che molti produttori utilizzavano il medesimo trucco di Samsung per alimentare il risultato dei benchmark sintetici, come HTC e Asus, anche se in maniera meno estesa rispetto al concorrente sudcoreano. Con tutti i terminali coinvolti è sufficiente rinominare l'eseguibile del relativo benchmark per ripristinare i risultati corretti, senza alcuna forzatura nel governor della CPU.

Per rispondere a questa situazione, che abbiamo brevemente analizzato, FutureMark ha appena declassato tanti dispositivi che i vari siti avevano evidenziato come protagonisti di alterazioni dei punteggi finali. La società non ha divulgato ufficialmente quale specifica regola i vari produttori abbiano violato con i relativi terminali, tuttavia sappiamo che FutureMark non ha mai permesso ottimizzazioni specifiche sull'applicazione, né soluzioni volte a riconoscere il lancio dell'eseguibile del benchmark, salvo rari casi.

FutureMark, 3dMark, Samsung e HTC declassificati

"La gente si basa sui benchmark di FutureMark per avere risultati accurati e imparziali. Ecco perché abbiamo regole chiare per i produttori di hardware e sviluppatori software che specificano come una piattaforma possa interagire con il nostro tool di benchmark", ha dichiarato FutureMark in un comunicato riportato da HotHardware. "In altri termini, un dispositivo deve funzionare con i nostri benchmark senza modifiche, come se si trattasse di qualsiasi altra applicazione."

È indubbio che una situazione di questo tipo non può che riportarci alla memoria la situazione che vedeva ATi e Nvidia contrapposte in un periodo in cui l'antagonismo fra le due società era palpabile ad ogni major release, e in cui si cercava il risultato migliore a prescindere dalle metodologie utilizzate, con stratagemmi che ricordano molto da vicino quelli di HTC, Asus e Samsung dei giorni nostri. 3D Mark non è il primo tool che è stato adeguato al comportamento dei vari produttori, anche AnTuTu in passato è stato aggiornato in modo da evitare situazioni analoghe.

Resta aggiornato sulle ultime offerte

Ricevi comodamente via email le segnalazioni della redazione di Hardware Upgrade sui prodotti tecnologici in offerta più interessanti per te

Quando invii il modulo, controlla la tua inbox per confermare l'iscrizione

10 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
[K]iT[o]26 Novembre 2013, 12:10 #1
Ottima mossa da parte di Futuremark, questi lestofanti ci prendono in giro per costringerci al "comprah comprah" quando telefoni di soli 2 anni fa vanno ancora benissimo con qualsiasi app e uso. E quale miglior modo che sventolare numeroni finti? Mi spiace per chi ci casca
Cr4z3326 Novembre 2013, 12:14 #2
Se anche Antutu facesse lo stesso con i device cinesi "truccati" per alterare i risultati, o che comunque usano versioni dell'app modificate, sarebbe una gran cosa.
demon7726 Novembre 2013, 12:26 #3
E vorrei vedere!
Ha fatto benissimo!!
Raghnar-The coWolf-26 Novembre 2013, 12:48 #4
Ma fare come i PC?
Una lista degli assoluti, e una lista dei non-"OC"?

Perché da quanto ho capito il trucco non è che sia chissàqualetrucco, semplicemente si sblocca un opzione per aumentare la frequenza, non si mette neppure il device in freezer (cosa che coi PC praticamente si fa). Non sono risultati che rispecchiano condizioni normali di utilizzo dato che l'autonomia è forse il parametro più importante di un telefono e impattando su quella ne comporta un utilizzo "non tipico", ma sono sicuramente risultati che rispecchiano le potenzialità hardware (ben di più di quelli dei PC OC)
Nino Grasso26 Novembre 2013, 14:00 #5
Originariamente inviato da: Raghnar-The coWolf-
Ma fare come i PC?
Una lista degli assoluti, e una lista dei non-"OC"?


FutureMark ha penalizzato alcuni dispositivi perché ottengono risultati migliori "manipolando" l'eseguibile di 3D Mark. Che sia un comportamento eticamente corretto o meno poco importa ai fini della scelta della società, a mio modo di vedere.
Darkon26 Novembre 2013, 15:46 #6
FutureMark ha penalizzato alcuni dispositivi perché ottengono risultati migliori "manipolando" l'eseguibile di 3D Mark. Che sia un comportamento eticamente corretto o meno poco importa ai fini della scelta della società, a mio modo di vedere.


Adesso non diciamo delle emerite falsità.

Nessuno di quei telefoni ha in alcun modo modificato l'eseguibile. Semplicemente viene "riconosciuto" quell'eseguibile e viene impostato un governor più aggressivo.

È esattamente la stessa cosa che nei PC quando si altera il moltiplicatore e poi si fa un benchmark a moltiplicatore fuori standard.

IMHO è una pagliacciata fare bench degli smartphone e ancora più pagliacci quelli di futuremark che fanno i buoni samaritani e si scandalizzano.

Solo pubblicità gratis per un bench tutto sommato nemmeno eccezionale.
Raghnar-The coWolf-26 Novembre 2013, 16:42 #7
Originariamente inviato da: Nino Grasso
FutureMark ha penalizzato alcuni dispositivi perché ottengono risultati migliori "manipolando" l'eseguibile di 3D Mark. Che sia un comportamento eticamente corretto o meno poco importa ai fini della scelta della società, a mio modo di vedere.


1- non mi risulta che l'eseguibile sia stato modificato o sia modificabile. In tal caso le solite regole di FutureMark sono di escludere il bench.
2- Che lo spirito critico non sia il centro delle notizie l'abbiamo capito ed è anche giusto così. Però non annulliamolo anche agli utenti

Guardare i Bench in modo così "fine" ha senso solo per applicazioni molto specifiche e non per l'utilizzo generico.
Per come la vedo io i risultati sotto un governor aggressivo (fra l'altro sbloccabile in modalità developer) sono più interessanti dei risultati nell'utilizzo comune che a conti fatti è come la modalità "risparmio energia" sui portatili.

Se uno deve guardare i bench numero per numero cum grano salis significa che nelle sue applicazioni molto specifiche di sopra se ne frega del consumo, esistono anche applicazioni industriali/hobbystiche di chip e software android che funzionano sempre alimentati esternamente...

Al contrario avere un bench preciso al millesimo di punto su un device come un telefono è assolutamente inutile.

Credo che la doppia classifica, come nel caso di PC, sia auspicabile per questo motivo. Che poi futuremark non la voglia fare pazienza, fortunatamente reporter precisi come te ci terranno informati, ma a noi la parola di commento e ciò ci aggrada o meno.
Polvere26 Novembre 2013, 17:11 #8
Originariamente inviato da: Darkon
Adesso non diciamo delle emerite falsità.

Nessuno di quei telefoni ha in alcun modo modificato l'eseguibile. Semplicemente viene "riconosciuto" quell'eseguibile e viene impostato un governor più aggressivo.

È esattamente la stessa cosa che nei PC quando si altera il moltiplicatore e poi si fa un benchmark a moltiplicatore fuori standard.

IMHO è una pagliacciata fare bench degli smartphone e ancora più pagliacci quelli di futuremark che fanno i buoni samaritani e si scandalizzano.

Solo pubblicità gratis per un bench tutto sommato nemmeno eccezionale.



Io trovo invece che sia pubblicità ingannevole, per esempio, nelle recensioni dei terminali vengono valutate le potenzialità con benchmark e quelli che "barano" ottengono maggiore visibilità, questo con uno "stato bench" nel governor inserito di proposito.
Se ci fosse completa trasparenza, non ce ne sarebbe bisogno.
Nino Grasso26 Novembre 2013, 20:29 #9
Originariamente inviato da: Raghnar-The coWolf-
1- non mi risulta che l'eseguibile sia stato modificato o sia modificabile. In tal caso le solite regole di FutureMark sono di escludere il bench.


Quei dispositivi riconoscono l'esecuzione del tool e applicano le nuove regole per il governor. È una pratica vietata dai regolamenti di 3DMark.
Darkon27 Novembre 2013, 09:11 #10
Io trovo invece che sia pubblicità ingannevole, per esempio, nelle recensioni dei terminali vengono valutate le potenzialità con benchmark e quelli che "barano" ottengono maggiore visibilità, questo con uno "stato bench" nel governor inserito di proposito.
Se ci fosse completa trasparenza, non ce ne sarebbe bisogno.


Definisci barare...

Perché ad esempio allora potrei dire che anche le pubblicità delle automobili o di quasi qualsiasi prodotto di elettronica è allo stesso modo ingannevole in quanto quasi sempre le misurazioni prestazionali sono effettuate in ambienti e situazioni che nella realtà non si verificano praticamente mai.

Inoltre a questo punto prima di parlare di barare per una cosa che volendo posso anche modificare io e tenerla daily (non si sa a che scopo ma vabbè volendo...) potremmo parlare di centinaia di spot in cui si dicono cose che nella realtà non otterrai mai nemmeno se sei un genio incompreso. Vedi i consumi delle auto tanto per dirne uno che chiunque conosce bene.

Inoltre scusami pubblicità ingannevole?! Giuro che se trovo qualcuno che veramente si è comprato il cellulare in base ai benchmark (assolutamente inutile salvo che per rarissimi casi industriali) vado a prenderlo a schiaffi!

Soprattutto in riviste tecnologiche in cui si dovrebbe avere cognizione di causa non si dovrebbe preoccuparsi tanto dei governor modificati quanto condannare l'esistenza di emerite ca.....te come quella di aver anche solo pensato ai bench per smartphone.

Una volte per tutte facciamo lo sforzo di distunguerci dal finto nerd che non ci capisce niente di informatica/elettronica e compra solo perché il punteggio è più alto dell'amichetto del cuore e deve nerd-bullizzarlo.

Per favore eh...

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^