Benchmark sintetici: pro e contro

[Lud von Pipper]

Originally posted by "STICK"

avete mai provato poem to a horse?????Noooo????
allora correte a provarlo!
ah dimenticavo:occupa solo 64K!!!!
www.theproduct.de
file fr-019

3DMark03=>180Mb compresso
Poem to a horse=>64K decompresso (girerebbe su un Commodore 64 per intenderci)

forse alla Futuremark dovrebbero rivedere un pochino il codice

LvP

[yamikilla]

Ieri vi abbiamo riportato la notizia dell`"attacco" di NVIDIA nei confronti del nuovo benchmark 3DMark 2003 di Futuremark; in questo attacco NVIDIA definisce 3DMark come un test con un approccio troppo "semplicistico" e con condizioni che non ricreano le condizioni reali di giochi attualmente sul mercato (per maggiori informazioni sulla vicenda vi consigliamo di leggere la notizia di ieri, a questo indirizzo).

La risposta di Futuremark non si è fatta attendere, ed è giunta puntuale poche ore dopo l`"attacco" di NVIDIA.

Nel comunicato che segue, Futuremark fa sapere che 3DMark 2003 è stato sviluppato con la massima imparzialità, senza favorire o svantaggiare un produttore piuttosto che un altro; lo scopo di 3DMark, a detta dello sviluppatore californiano, è quello di fornire un metro di comparazione agli utenti ed alle fonti di informazione indipendenti.

Ecco il testo integrale:


The interest in the recent 3DMark03 release has been phenomenal. We see the active discussion being a testimony to the importance of having neutral performance assessment tools available to independent media and consumers. In light of the interest, we feel that it is important to re-iterate the design process of 3DMark03 and other our products.

Our role as a benchmark developer is based on the fact that the computer industry and consumers need independent and neutral performance metrics. These tools should become publicly available as soon as new technologies arrive, in order to enable true apples-to-apples comparisons. They also should be easy to use that consumers themselves can run them to verify the results.

3DMark03, as well as all other Futuremark benchmarks, are developed with uncompromising integrity and do not favor or discredit any particular manufacturer. We will gather all comments, concerns from all of our constituents worldwide. We will address all issues and/or concerns in the weeks and months ahead.



Che roba...Nvidia rantola...

[yamikilla]

http://www.hardwareirc.com/shownews.asp?ID=7921

Non me ne voglia Hwupgrade.
Spero che sia consentito dare link con altre fonti vero?

[cionci]

Originally posted by "Lud von Pipper"




3DMark03=>180Mb compresso
Poem to a horse=>64K decompresso (girerebbe su un Commodore 64 per intenderci)

forse alla Futuremark dovrebbero rivedere un pochino il codice

Mamma mia !!!! Tutti dovrebbero imparare da quello !
Inredibile davvero...

[ZioBilly]

Come fa a battere la 9700 pro se tutti i risultati sono a favore di ati ??

http://www.hardocp.com/image.html?image=MTA0NDkyODY4NXltVGQ3TE51aE1fNF80X2wuZ2lm

booohh

[lasa]

Per il 95% dei pc il 3dmark2003 è inutile!

[cionci]

Originally posted by "ZioBilly"

Come fa a battere la 9700 pro se tutti i risultati sono a favore di ati ??

Guarda qua, sembra che la batta... Interessante anche l'articolo di Tom: http://www.tomshardware.com/column/20030213/index.html

[cimere]

Scusate la mia ignoranza in materia..
I bench non dovrebbero essere fatti da vari programmi?
Mi spiego: il 3DMark fa diversi test (quello degli aerei, della natura..) perchè non possiamo paragonare questi singoli programmi con le sequenze stile film che si vedono negli intermezzi dei giochi?

[cdimauro]

Perché i benchmark dovrebbero riprodurre, invece, parti di codice che viene REALMENTE utilizzato nelle applicazioni e nei giochi...

[cionci]

Originally posted by "cimere"

Scusate la mia ignoranza in materia..
I bench non dovrebbero essere fatti da vari programmi?
Mi spiego: il 3DMark fa diversi test (quello degli aerei, della natura..) perchè non possiamo paragonare questi singoli programmi con le sequenze stile film che si vedono negli intermezzi dei giochi?

Perchè non sono relizzati come le sequenze di intermezzo dei giochi, ma come i giochi stessi...
I filmati vengono realizzati partendo (solitamente) da un ambiente 3D renderizzato con costosi programmi e magari alla velocità di pochi frame per secondo... Poi nel gioco vengono messi non come ambiente 3D, ma come un normale filmato...
I vari spezzoni di 3dMark sono invece ambienti 3D animati usando un motore grafico...come potrebbe essere quello all'interno della fase interattiva di un gioco 3D... Ciò che cambia rispetto ad un gioco è che il percorso della viewpoint è prestabilito...mentre nel gioco è scelto dal giocatore...
Mi sembra tra l'altro che in qualche versione precedente alcuni ambienti potevano essere anche usati per un gioco (solo per la versione a pagamento di 3dMark se non erro)...

[cionci]

Mi sa che ho capito male quello che chiedevi...comunque in diversi giochi ci sono spezzoni animati attraverso un percorso predefinito (il fly-by di Unreal ad esempio)...e questi sono praticamente come i vari test di 3dMark...e potrebbero essere utilizzati anche come bench (infatti per il fly-by di Unreal si può usarlo come bench)...
Il problema con questo 3dMark è che i vari test non rispecchiano le reali situazioni di gioco e nemmeno motori grafici esistenti...

[cimere]

Originally posted by "cionci"

Mi sa che ho capito male quello che chiedevi...comunque in diversi giochi ci sono spezzoni animati attraverso un percorso predefinito (il fly-by di Unreal ad esempio)...e questi sono praticamente come i vari test di 3dMark...e potrebbero essere utilizzati anche come bench (infatti per il fly-by di Unreal si può usarlo come bench)...
Il problema con questo 3dMark è che i vari test non rispecchiano le reali situazioni di gioco e nemmeno motori grafici esistenti...

Intendevo esattamente gli spezzoni animati attraverso un percorso fisso.
Sicuramente nel gioco ci sono anche altri parametri (come il viewpoint scleto dall'utente (da te citato) o l' IA degli avversari) ma questi parametri pesano sulla GPU o vengono scaricati sulla CPU??

[cionci]

Pesano sulla CPU... In 3dMark tutto dovrebbe avere dei movimenti fissi per ricreare le stesse identiche scene per ogni volta che si fa girare il test...

[cimere]

Quindi il 3D Mark 2001 non era poi così male come bech..
Certo sarebbe stato meglio mettere stralci di codice dei vari giochi..

Per valutare una scheda video basterebbe prendere un set di giochi recenti, calcolare i fps e fare una media.. non sarebbe meglio?

[Manwë]

Cosi come i benchmark di Ziff Davis

[EvilCap]

il 3DMark ha pro e contro: da un lato è un bench che verrà usato per 1-2 anni, quindi se adesso con il supporto dx9 sembra "molto pesante", con la diffusione di FX e 9x00 fra qualche mese non sarà più così.
Però c'è un ma...sinceramente quest'anno il 3DMark e più un video-benchmark che system-benchmark: il processore e ram (qualità) conta pochissimo, per fare punteggi alti è fondamentale avere il supporto hw dx9, che adesso in poche schede hanno.
Mi chiedo quando in molti avranno le nuove generazioni di GPU, a quanto servirà questo bench, mah....

[EvilCap]

Per Dreadnought: sei lo stesso che posta sul forum di ngi di quakero3 ?

[Lud von Pipper]

http://www.tomshardware.com/column/20030213/index.html

E' interessante come per una volta anche il famigerato Thomas Pabst sia costretto a vedere in modo critico le affermazioni di Nvidia:

Non che il 3DMark03 sia da esaltare (ha la sua bella dose di difetti), però com'è che la GFX con un solo set di drivers ha fatto un balzo in avanti del 20% (drivers ottimizzati per un bench ) ?

E perchè Nvidia che sviolinava tanto sull'importanza del 3DMark 2001 (gia allora molto criticato) adesso storce il naso?

Forse alla Futuremark prima erano dei geni e adesso tutti imbecilli o questa volta non sono riusiti a comprarseli (vedi Carmack con DoomIII)?

Magari non glie lo hanno ottimizzato ad hoc, vedi test del simulatore (ed era ora che questi giochi facessere una timida aparizione nei bench! ), oppure il fatto che che si utilizzi il Pixel Shader 1.4 che Nvidia non ha voluto supportare (ma che guarda caso è a pieno titolo parte delle DX8.1 ).

Che cavolo centra tentare di paragonare Il motore di 3DMark03 con DoomIII quando il primo è esclusivamente un Bench DirectX e l'altro è un gioco OpenGL?

Insomma Nvidia critica il fatto che il 3DMark03 non sia stato fatto apposta per la sua linea di schede

Complimenti ai PR della Nvidia: fanno di tutto per rendersi simpatici

[WarDuck]

malestorm, non ho ottimizzato il sistema, era da 2 giorni acceso, non so quanto possa essere attendibile, comunque quei pochi punti non mi interessano, è interessante il rapporto tra il vecchio e il nuovo punteggio...

Vorrei che Futuremark facesse un bench OpenGL...

[aht]

Allora vediamo un attimo, ho un PC che e' una bomba, tocco i 250 FPS in 3D Mark 2001 ( default ), poi cosa mi vedo????, 5 o 6 fps in 3D mark 2003.... non e' possibile.... , il fatto e' questo, sono partito ( con la configurazione buona ) con una TNT 2, processore Duron, ora dopo svariati cambiamenti x migliorare le prestazioni, mi trovo a superare i 10000 punti nel 3D Mark 2001 ( grazie anche alla S. Video Hercules 9500 pro ), tutto contento delle prestazioni del mio PC, mi fanno ritornare a pensare che dovranno essere ancora tanti i soldi da spendere... io non so' che tipo di tecnologia ha usato il 3D Mark 2003, ma se devo essere sincero non mi e' sembrato neanche cosi' eccelso, sinceramente da una DX9 mi aspettavo molto di +, magari deve ancora essere ottimizzata, ma x ora ho visto dei netti miglioramenti nella trasparenza ( acqua effetti luce ecc... ), prendendo ad esempio la mucca, nemmeno si vedono i dettagli del muso.... mah.... alla fine spendi tanto che basta un 3D Mark per farti vedere che hai ancora molto da spendere... che tristezza....