PDA

View Full Version : Attendibilità dei benchmark sintetici


Redazione di Hardware Upg
01-08-2003, 14:29
Link alla notizia: http://news.hwupgrade.it/10543.html

Le recenti polemiche nate attorno al benchmark 3D Mark 2003 mettono in discussione l'atendibilità e l'efficacia dei benchmark sintetici, soprattutto per schede video

Click sul link per visualizzare la notizia.

Aryan
01-08-2003, 14:43
"non è al momento un tool affidabile per il testing delle schede video, soprattutto se preso quale unico parametro di giudizio e non abbinato a test con i giochi 3D."

Bhè non ci voleva tanto a capirlo...

Si_Vis_Pacem_Para_Bellum
01-08-2003, 14:54
Infatti, meglio basare il giudizio di una scheda video sulle effettive capacità pratiche, come ad esempio un gioco..

KAISERWOOD
01-08-2003, 14:55
alcuni non l'hanno ancora capito :D :)
Cmq è comodo quando overclokki la scheda video e vuoi testare la stabilità e farti un idea del miglior rapporto frequenza core/memoria per ottonere + prestazioni.

KAISERWOOD
01-08-2003, 15:01
;)

the_joe
01-08-2003, 15:11
Se non erro però, le dichiarazioni erano che il 3DMARK2003 fosse + svincolato dalla potanza della CPU rispetto al 2001 e questo articolo non fa che confermarlo, quindi sarebbe (bug e altre cavolate a parte) un buon test per e solo le schede video, non per tutto il PC :blah:

Ravenflot
01-08-2003, 15:18
Sarà che sono in ufficio col mal di testa, ma... ho capito il punto 1) :eek: ...non dovrebbe essere il contrario ?
boh! che collo di bottiglia toglieresti usando [sparo un esempio a caso] un AGP 2x invece di un 4x ??

the_joe
01-08-2003, 15:22
E' scritto giusto il punto 1, leggilo bene!!!

Inserendo una scheda 3D molto performante in un sistema lento rimuovi il collo di bottiglia della scheda video vecchia, ma restano tutti gli altri.

Lud von Pipper
01-08-2003, 15:37
Non mi risulta che futurmark abbia mai cercato di spacciare il proprio Bench per qualcosa utile a ben bilanciare il PC: è un bench "PER SCHEDE VIDEO" non "PER PC", e ben venga che per una volta si siano decisi a sputtanare i trucchetti delle ditte produttrici di Hardware invece che intascare soldi e ottimizzarli su questo o quel prodotto.

Per me rimane di gran lunga il Bench più affidabile sul mercato, almeno non è stato ottimizzato, oppure si "suggerisce" che dovremo fare i test su "GIOCHI VERI" come Doom III con il Sig. Carmak che scrive codice appositamente per un certo modello di scheda di casa Nvidia?

E se uno a Doom non ci vuol giocare che validità avrà mai questo presunto Bench?!? :confused:

(che i giornalisti di questo insulso articolo abbiano ricevuto un "obolo" dalla caliornia?)

LvP

Aryan
01-08-2003, 15:58
La mia TNT2 con il mio K6-3 450 mi faceva ~1500 circa con il 3DM2000. Vado da un mio amico con la mia scheda video e con un P3 700 mi fa ~3500 punti.

Conta anche il processore???

Ravenflot
01-08-2003, 15:58
Originariamente inviato da the_joe
Inserendo una scheda 3D molto performante in un sistema lento rimuovi il collo di bottiglia della scheda video vecchia, ma restano tutti gli altri.

E beh...in tutti gli anni che ce ne siamo accorti c'era bisogno di dircelo adesso !? Ecco perchè non capivo..era una cosa terra terra..!
:rolleyes: :oink:

Ravenflot
01-08-2003, 16:01
Bella riflessione.... !


(che i giornalisti di questo insulso articolo abbiano ricevuto un "obolo" dalla caliornia?)

sei fiornentino ?!

;)

Biotech
01-08-2003, 16:02
Chissà com'è che a me basta solo passare da CAS2.5 a 2 per avere 300 punti in più...

Che le scede video siano diventate un computer nel computer ormai è palese, però non mi sembra proprio che 3DMark non sia molto influenzato dalla cpu.

Aryan
01-08-2003, 16:03
Che motore usa? Il 2001 usava quello di Max Payne e si vedeva. Però non è stato sfruttato da nessun altro gioco.

I motori di DooM3, Half Life 2 e UT2003 daranno vita ad un sacco di giochi

Jimmy3Dita
01-08-2003, 17:22
Forse non e' stato ben capito il motivo di questo studio e le premesse che vengono fatte ogni volta che esce una nuova versione di Futuremark: gia' la parola future fa pensare ad una "prova per il futuro" dell'hardware, e quindi sapere come andra' il sistema (di cui fa parte la scheda video) con i giochi del futuro.
Ma se, come si evince dalle prove "sul campo", ci si basasse sul risultato del solo Futuremark, con un P2 350 ed Ati Radeon 9700 si giocherebbe praticamente ai livelli di un Pentium 4 a 2,8 giga ed una Radeon 9600..
E' palese che il benchmark privilegia le schede con piu' banda tra chip e memoria, oltre che le features compatibili dx9, anziche' l'effettiva potenza del pc in una situazione di gioco tipo.
Eppure ecco quello che dice la MadOnion riguardo il Futuremark:
"By combining full DirectX®9.0a support with completely new tests and graphics, 3DMark03 Pro continues the legacy of being the industry standard benchmark. The high quality game tests, image quality tests, sound tests and others give you an extremely accurate overview of your system’s current gaming performance."
Any comments?

cnc76
01-08-2003, 18:26
Sono rimasto molto sorpreso da questa recensione.

Vedere il mio pc-muletto (il P2-350) che al 3Dmark batteva persino il P4 a 2,8GHZ con una 9600 mi scoppiava da ridere.

Vedere un celeron 1.4 che con 9700PRO oppure con una 8500 andava alla stessa velocità era cmq interessante.

La cosa mi ha fatto pensare molto.

bye by CNC

dragunov
01-08-2003, 22:12
be finalmente iniziano a dirlo:-)

veryhappyjk
01-08-2003, 23:19
forse nessuno ha ancora capito che oramai, data la situazione del mercato, è completamente impossibile stabilire dei valori e dei relativi parametri di velocità.
si per le schede video che per i processori che per gli hard che per qualunque altra periferica, non esiste un "assolutamente più veloce" o "assolutamente più lento", perché si troveranno in giro singoli test che dimostrano il contrario.

oramai è anche difficile trovare uniformità tra i risultati dei vari siti.

il ruolo dei benchmark oramai, è quello di manipolare le masse... e ci riescono benissimo, dato che esistono persone, anche con molta esperienza, che fanno il 3dmark e dicono "oooohhh questa scheda ha ottenuto 17000 punti"...

purtroppo leggere un numerino è immensamente più semplice che leggere, comprendere e criticare un intero articolo.

è per questo che "i numeri vendono".

per me, l'unico vero articolo che posso definire ragionevole ed in definitiva serio è questo:

http://www.tomshardware.com/column/20030624/index.html

meditate gente, meditate...

devis
02-08-2003, 00:07
I benchmark sintetici restano uno strumento estremamente interessante ed utile per analizzare caratteristiche tecniche e prestazionali di un componente, ma devono sempre essere utilizzati in abbinamento a strumenti più concreti, che replichino le quotidiane condizioni di utilizzo di un PC.

Alleluia!

rip82
02-08-2003, 00:20
X veryhappyjk:
concordo in parte con quello che dici, perche' anche secondo me e' difficile classificare l'HW in base alla "potenza", e che per capire come va una GPU bisogna giocarci o farci dei render con Maya o 3DS. E' anche vero che 3DMark, anche per una persona di notevole esperienza, puo' rivelarsi un bel gioco, una sorta di sfida, con la consapevolezza che non e' per nulla attendibile.

cdimauro
02-08-2003, 07:57
Alla luce di ciò, perché i recensori non smettono una buona volta di utilizzare i benchmark sintetici?

SilverLian
02-08-2003, 12:27
Beh, finchè c'è gente che ci crede è anche + semplice postare un numero che fare un bell' articolo che descriva minuziosamente la scheda

Bisont
02-08-2003, 15:30
mah se proprio lo volete sapere io con un P4 3Ghz 1Gb di RAM e SapphireATIRadeon9700Pro faccio solo 3500punti?! eppure con i giochi nn scatta neache a volerlo...compreso Unreal2 e ColinMcRae3...

Drio
02-08-2003, 16:01
Io i Benchmark ho smesso di farli un bel po di tempo fa, non servono assolutamente a niente.

OKUTOBOY
02-08-2003, 16:48
Questo articolo non fa che confermare che il 3Dmark2003 è un benchmark "solo" x schede video.
In effetti mi pare anche ovvio. Visto che è scritto quasi tutto x sfruttare i pixel&vertex shader, è chiaro per fare + punti occorrono le schede di ultimissima generazione. Le cpu invece, non hanno niente a che fare con i Px&Vx shader, quindi nel 3Dmark03 avere un PII, oppure un XP3200+, non fa differenza.
Se però nei giochi di prossima generazione, l'uso delle DX8/9 sarà molto intensivo, il 3Dmark03 potrebbe rivelarsi molto + veritiero di quanto non lo sia ora.

PS:
Cmq mi sembra palese che il motore di un videogioco sia il miglior benchmark per testare il proprio computer.....(si però basta con Q3!!!)

Lud von Pipper
02-08-2003, 16:57
1) i bench servono per testare la Stabiltà del sistema
2) I bench servono per testare la Qualità dell'immagine
3) i bench servono per testare la Velocità della scheda a parità di HW

é ovvio che un gioco tiene conto di diversi parametri, potenza della CPU, velocità della memoria, Velocità e frammentazione dell'HD, Driver ecc, ed è ovvio che un Bench come il 3DMark 2003 verte pesantemente su Vertex Shaders e Pixel Shaders, più che sulla geometria, quindi la CPU è parecchio ininfluente nel momento che la scheda elabora in Hardware la maggior parte del gioco: questo è colpa/merito del T&L delle GPU e del supporto alle istruzioni DX.

3DMark 2003 elabora scene differenti con supporto DX7, DX8, DX9, e la scheda con supporto più ampio ottiene valori migliori, quindi una scheda DX9 è SEMPRE più veloce di una DX7 indfferentemente dalla CPU.

E' ovvio però che a parità di scheda il processore ha il suo bel peso sul risultato finale, a meno che la potenza non sia molto simile o la scheda troppo lenta per beneficiare di un aumento di velocità del Processore.

La cosa che conta è che attualmente è L'unico Bench generico non ottimizzato e se saputo usare dice molto.

Che dire allora di Quake III, tuttora usato come benchmark che in pratica è stato SCRITTO su hardaware Nvidia per cui qualunque scheda Nvida gira meglio in quel bench di una della concorrenza anche se spesso nettamente più lenta nella realtà?

Perchè tutti ce l'hanno con Futuremark che produce bench ben fatti fin dall'epoca di Terminal Reality nel 97?
Per fare test seri bisognerebbe testare le schede sui giochi, ma su TUTTI i generi di giochi, mentre il 99,9% degli articoli sulla rete e sui giornali si limita ai soliti giochi FPS

I giochi FPS richiedono solo un certo genere di calcolo, con pochissime textures e spazi di dimensioni ridicole, ma nessuno fa un bel test su Simulatori di volo, dove il paesaggio riprodotto ricopre un area del raggio di cinquanta chilometri, con texture e luci, situazione che può sovvertire completamente i risultati di una scheda per un corridoio di Unreal2; nel suo piccolo in 3DMark 2003 finalmente lo fa.

Il test Ragdoll poi è utilissimo per vedere come la scheda gestisce una serie di geometria complesse, mentre un FPS si limita a un paio di animazioni prerenderizzate e spostamenti sul piano XY che sulle capacità di gestione della scheda non dicono quasi nulla.

Certo, se uno gioca solo FPS non vedo perchè perda tempo sui bench, tanto vale che che si guardi solo i test sul gioco particolare che gli piace, ma un bench è qualcosa di più serio che deve coprire tutte la situazioni possibili.

La scheda X è più veloce in DoomIII della scheda Y, che apparentemente gli è superiore su bench?
Benissimo: probabilmente la scheda Y è più veloce da qualche altra parte, ma il bench DEVE fornire indicazioni oggettive su tutto lo spettro degli usi!

Il 3DMark 2003 è un test COMPLETO se fatto da chi sa come impostarlo e crea le condizioni per cui sia attendibile, eppure la campagna denigratoria messa in giro da Nvidia fa di tutto per screditare quello che per quanto ne so è l'unico Bench che non bara...

Attendo con ansia i nuovi bench che pioveranno sui siti hardware e game all'uscita di DoomIII, un test che ha codice generico per la maggior parte dell'hardware e uno scritto ad hoc per Nv3X: quello si che sarà un test che rispecchierà le prestazioni delle schede nel gioco, ma per chi, come me, non installerebbe Doom III neppure se glie lo regalassero che cosa potrà mai dire?


LvP

OKUTOBOY
02-08-2003, 17:04
Mi pare che Lud abbia centrato in pieno il punto......

shodan
02-08-2003, 18:09
Concordo con te al 100% LvP... :)

lasa
03-08-2003, 13:06
Il 3dmark2003 serve solo a fare i fighetti con gli amici.....

Greydeath
04-08-2003, 09:33
mettetela come vi pare, ma se compro una scheda video è per i giochi, non per i bench.....se uno prova i motori di 5 giochi che sono il riferimento per il 3d sà se una scheda gli và bene o no.
se il motore di doom3 e unreal2 sono ottimizzati per nvidia mica lo saranno tutti....e se per sbaglio lo sono tutti comprate nvidia.
se una scheda ha buone prestazioni per il tipo di giochi che mi interessa ok, altrimenti a che mi serve?
di sicuro i bench non mi garantiscono che i giochi sfrutteranno bene la potenza delle schede, li conta chi sviluppa i giochi.

Lud von Pipper
04-08-2003, 14:09
A te sicuramente non serve a nulla visto che per te il "riferimento" è doomIII e Unreal2 (in pratica lo stesso gioco con grafica diversa)...
Ma per tutti quelli che usano una miriade di altri giochi, tutti con il proprio motore grafico, di sicuro i tuoi 5 giochi di riferimento non servono a una cippa: sei tu che sei limitato nelle tue esigenze, non certo il bench, che invece cerca di coprire tutte le possibili situazioni di gioco, indipendentemente da DoomIII e Unreal2 :rolleyes:

LvP

neosemy
05-08-2003, 02:07
beh,
Se prendi in esame i "motori grafici" (non il gioco ma il motore) di Doom3, Unreal2,
e HL2 hai praticamente testato tutti i giochi dei prossimi 3 anni.
Questo perchè tutti i prossimi giochi sfrutteranno chi più chi meno questi motori grafici.....quindi un test effettuato su uno dei suddetti giochi da un riscontro molto più diretto e concreto di un test che misura solo le performance.
Poi che tu giochi a simcity, flighsimulator, fifa 2004, ecc... è ininfluente perchè saranno sempre giochi con motori grafici meno potenti di quelli sopracitati....
Guarda con il motore di Q3 e U quanti giochi famosi ci hanno fatto.
Volenti o nolenti è questa la realtà

Ad oggi non mi fraga nulla di quanto fa una scheda in calcolo puro....mi frega di non spendere centinaia di euro in una scheda che fa un miliardo su 3D Mark 2003 ma poi ha più o meno seri problemi con i giochi......

la vogliono ottimizzare? CHE LA OTTIMIZZINO PURE.....non mi frega assolutamente niente.....basta che i giochi di ultima generazione girino come cristo comanda!!!!!!

Neosemy


P.S.
Poi me spiegate che centra Maya e 3DS?.....voi comprate una Radeon 9800Pro o una FX 5900 Ultra per far usare uno di questi programmi? Beh...se lo fate è perchè ce li avete copiati e non vi frega un cavolo.....perchè se aveste comprato Maya o 3DS originale per lavorarci col cavolo che spedereste soldi per queste schede. Almeno un po' di coerenza...queste sono schede fatte per far girare i giochi non per uso professionale!!!!!

Lud von Pipper
06-08-2003, 17:50
Originariamente inviato da neosemy
beh,
Se prendi in esame i "motori grafici" (non il gioco ma il motore) di Doom3, Unreal2,
e HL2 hai praticamente testato tutti i giochi dei prossimi 3 anni.
Questo perchè tutti i prossimi giochi sfrutteranno chi più chi meno questi motori grafici.....quindi un test effettuato su uno dei suddetti giochi da un riscontro molto più diretto e concreto di un test che misura solo le performance.
Poi che tu giochi a simcity, flighsimulator, fifa 2004, ecc... è ininfluente perchè saranno sempre giochi con motori grafici meno potenti di quelli sopracitati....
Guarda con il motore di Q3 e U quanti giochi famosi ci hanno fatto.
Volenti o nolenti è questa la realtà

Ad oggi non mi fraga nulla di quanto fa una scheda in calcolo puro....mi frega di non spendere centinaia di euro in una scheda che fa un miliardo su 3D Mark 2003 ma poi ha più o meno seri problemi con i giochi......

la vogliono ottimizzare? CHE LA OTTIMIZZINO PURE.....non mi frega assolutamente niente.....basta che i giochi di ultima generazione girino come cristo comanda!!!!!!

Neosemy


P.S.
Poi me spiegate che centra Maya e 3DS?.....voi comprate una Radeon 9800Pro o una FX 5900 Ultra per far usare uno di questi programmi? Beh...se lo fate è perchè ce li avete copiati e non vi frega un cavolo.....perchè se aveste comprato Maya o 3DS originale per lavorarci col cavolo che spedereste soldi per queste schede. Almeno un po' di coerenza...queste sono schede fatte per far girare i giochi non per uso professionale!!!!!

Dimostri un ignoranza che lascia davvero senza parole... :O

Unreal 2 e DoomIII non rappresentano neppure il 30% di motori grafici disponibili e il fatto che tu non conosca gli altri dice molto di te :rolleyes:

Se pensi che ancora oggi si fatica a fare girare Falcon4 (un gioco dell'ottobre 1999) al di sopra dei 30fps con fitri attivati e risoluzioni alte mi viene da ridere a sentire parlare di DoomIII: hai la più pallida idea della quantità di poligoni che si possono arrivare ad avere sul video in un campo di battagli affollato che ha una visibilità di 40Km?!?
Se credi che DoomIII sia un gioco complesso penso proprio di no.

Quanlunque scheda di fascia media farà girare DoomIII senza problemi, anche perchè, detto tra noi in un FPS i filtri servono comunque a poco, mentre credo proprio che giochi come Lock-On della SSI presentino "qualche" difficoltà in più, soprattutto perchè i driver non vengono ottimizzati.

Pensi che DoomIII sia un sistema complesso quando tutto quello che deve renderizzare sono un paio di stanze e una decina di personaggi per volta, il tutto condito con textures "pesanti" (responsabilio della maggior parte dei rallentamenti), mentre anche un vecchio gioco, come Neverwinter Night, in certe condizioni può essere MOLTO più pesante da gestire: ci sono dei mod che rappresentano porzioni di citta ampie e molto popolose che mettono in crisi anche un P4 2.5ghz con 9700, anche a 1200x1024...

Che cosa poi centrino nel discorso le applicazioni professionali non l'ho capito, anche perchè TUTTE si basano su OGL mentre 3DMark è un test DX9.0 :confused:
Comunque, per risponderti, se pensi che una scheda da un milione e oltre di vecchie lire debba essere "SOLO" per giocare, devi avere delle idee piuttosto strane, oppure i soldi li raccogli sugli alberi in giardino: io per esempio ho la licenza per Microstation (OGL) e per 3DStudio MAX 5 (OGL o DX) con i quali lavoro (oltre ad avere in ufficio una bella Wildcat), e ti garantisco che che una 9800Pro non sfigura proprio: anzi, al contrario di tutte le assurdità che ho letto in giro, lavora molto ma MOLTO meglio della Geffo 4800 che ho avuto sul PC per un paio di mesi, specie con l'AA attivato in MAX.

L'ho detto e lo ripeto: se il tuo mondo è limitato a DoomIII, Quake e UT2, non c'è nulla di male, comprati la scheda che funziona meglio con i quattro giochi che usi (e spendici pure milioni se pensi che la cosa abbia senso solo per giocare).

Quello che però eviterei, se fossi in te, e di spalare escrementi su strumenti utilissimi (anche se non per te) e gratuiti come se tutti si dovessero limitare alle tue stesse ridotte esigenze (cioè come se il mondo videoludico che conta fosse solo la piccola porzione che conosci).

LvP

pollicino
09-08-2003, 14:09
Dopo le magagne di Nvidia e Ati che hanno truccato i loro driver, si sta cercando di screditare un benchmark sintetico. Bella questa!!!
Chissà quanti interessi economici ci sono sotto sotto.
Non dico che il 3d mark 2003 sia perfetto, ma sostengo che non è per me molto strano che un pc obsoleto dia buoni risultati con una scheda di nuova generazione specialmente se quest'ultima è fatta bene ed è gestita da driver eccellenti. Questo significa che il pc viene sgravato da quasi tutti i compiti e la scheda video si occupa di tutto o quasi;
Molto dipende da quali e quante infomazioni servono alla scheda per creare le scene 3d e chi ha il compito di fornirle e attraverso quale canale. E' un po' come il modo di gestire la grafica tra un sistema integrato di tipo nforce e una scheda grafica PCI o AGP con memoria veloce onboard. Queste ultime tanto sono più efficienti quanto più indipendenti dalla potenza di calcolo del processore di sistema.
La grafica 3D nelle schede di fascia alta viene processata in hw ecco perchè in sistemi con minore potenza elaborativa (PII350 con 512L2) dà risultati discreti. Se prendiamo come esempio delle schede grafiche con elaborazione hw+sw (esempio Xabre 200-400-600, gf4 mx etc) maggiore sarà la potenza elaborativa del processore e maggiore sarà la resa in termini di grafica. Quindi non facciamoci fregare. Microsoft con le Directx ha dettato degli standard. Se il 3d mark 2003 le utilizza bene la resa delle schede grafiche di fascia alta su pc "lenti" sarà per forza di cose buona poichè il sitema non deve fare poi molto. Che i giochi non vadano altrettanto bene è colpa dei programmatori che dovrebbero scrivere meglio il codice. Ma questa è un'altra storia se i giochi di nuova generazione funzionassero bene anche su pc di qualche anno fa nessuno comprerebbe nuovi pc e nuove schede video.









:D :D :D

cdimauro
10-08-2003, 18:58
Non metto in dubbio la possibile validità dei singoli test presenti nel 3DMark 2003 per capire i limiti di un sistema in determinati ambiti, ma sono dell'idea che un buon numero di applicazioni e giochi, quanto più variegato possibile, possa rappresentare sempre una soluzione migliore al problema della sua valutazione...