Un nuovo approccio ai test delle schede video

[alexgti]

ottimo lavoro

[TRF83]

Insomma, dopo millanta anni si è capito che "se io ho mangiato due polli e tu zero", non siamo proprio felici e contenti con un pollo a testa. Credevo fosse assodato che dire di fare 30fps, fossero 30fps di media, con tutto ciò che ne deriva.. O.o

[lucusta]

gustoso articolo, grazie.

[lucusta]

Originariamente inviato da calabar

@maumau138
Corri il rischio di rendere il tutto incomprensibile a chi di statistica non capisce un'emerita ceppa,
Secondo me invece ha ragione, pochi indici ben studiati potrebbero indicare in maniera semplice concetti complessi, riducendoli ad un "più questo valore si avvicina a zero meglio è".
Il bello è che, dati alla mano, possono essere calcolati in automatico senza alcuno sforzo per il recensore.

mica vero... i dati son tanti per singola rivelazione e per 1 solo misero minuto (considera che la 690 faceva oltre 6000 frame singoli, e li devi analizzare singolarmente), i bench sono tanti, e se fai una race...
con i dati del passato articolo ho cercato di analizzarli, ma e' un sistema piu' simile allo studio dei segnali, che ad altre forme di analisi, e sono calcoli non certo facili da fare per la macchina e da dover analizzare ed interpretare (non e' che prendi i dati e li metti nella sheet).

Originariamente inviato da calabar

Interessante invece la riflessione fatta da un utente che ha scritto sopra, ossia il fatto che magari la recensione di un titolo nuovo con una scheda nuova possa fornire una visione molto alterata della situazione reale, dato che spesso, per poter pubblicare per tempo la recensione di una nuova scheda, ci si affida a driver ancora non del tutto pronti.
Questo richiede un ulteriore sforzo per la redazione, che dovrebbe evitare di lasciare in rete articoli le cui conclusioni non rappresentano la situazione reale anche solo pochi giorni o settimane dopo la sua uscita, facendo si che tali recensioni possano essere una fonte di valutazione sbagliata per chi si trova a leggerle qualche tempo dopo.

questo e' vero, ma diverrebbe oltre che un gran lavoro ad ogni recensione, una faticosa ripetizione.
ad ogni relese dei draiver ritestare ogni singola scheda?

Originariamente inviato da calabar

Per quanto riguarda FRAPS, non ho mai approfondito, ma in passato si riteneva questo software poco affidabile non tanto per il motivo ben sottolineato in questo articolo, ma perchè di fatto falsava i risultati, tanto che per un certo periodo la redazione aveva cercato di ridurre al minimo la recensioni di titoli che potevano essere misurati solo con questa utility.
A maggior ragione quindi parrebbe abbia ancora meno senso utilizzarla per un'analisi delicata come quella del tempo di frame.

in passato gravava sulla CPU, gia' provata dal gioco; un sistema esterno non compromette l'esecuzione del test, ma lo hanno ben descritto... impegnativo.

[amd-novello]

ma solo a me il sistema nvidia sembra ridicolmente complesso? è come scacciare le zanzare col bazooka

non si può far generare alla scheda o alla cpu o a sarcazzo un report testuale su tutto quello che viene fatto per generare frame e quanto tempo ci si mette invece di misurare a schermo cosa succede?

[illidan2000]

Originariamente inviato da amd-novello

ma solo a me il sistema nvidia sembra ridicolmente complesso? è come scacciare le zanzare col bazooka

non si può far generare alla scheda o alla cpu o a sarcazzo un report testuale su tutto quello che viene fatto per generare frame e quanto tempo ci si mette invece di misurare a schermo cosa succede?

quello lo fa già fraps... sicuramente stanno cercando altri metodo, ma se non l'hanno già fatto, vuol dire che non è semplice come si possa pensare

[amd-novello]

no frap misura l'inizio della generazione di frame

io intendo che il pc in sè conosce molto bene quanto tempo ci mette a generane uno e può compilare un record preciso

fraps fa schifo in confronto

[Paolo Corsini]

Saluti a tutti

quando ho pubblicato quest'articolo mi sono subito buttato a chiudere il pezzo successivo, la recensione della Radeon HD 7790. Non ho quindi seguito in nessun modo questi commenti (che, beninteso, non ho ancora letto). Ho commentato quella recensione; cerco in questi giorni di riprendere quanto avete scritto qui e di rispondere punto per punto alle osservazioni e ai dubbi emersi.

Scusate il ritardo, cerco di mettermi in pari (e se riesco anche a fare un briciolo di ponte in questi giorni, avendone anche io bisogno )

[lucusta]

un analisi reale elimina qualsiasi interferenza sul sisstema analizzato, quindi devi riferirti solo all'output (ed e' gia' tanto aver modificato i driver per far colorare i frame).

il sistema non puo' essere analizzato diversamente, se ci pensi, in quanto, in uscita dalla ram video, hai direttamente lo pseudo ramdac (il temporizzatore), e che comunque i monitor hanno una loro scheda di digitalizzazione, che prende l'input e lo fa' visualizzare, ma non e' un processo pixel-to-pixel.

se invece di un 60hz prendi un 120hz i risultati a video cambiano (e sarebbe opportuno valutare se in meglio o in peggio).

[Paolo Corsini]

Originariamente inviato da Catan

Seguo HW da ormai 15 anni, sopratutto nell'ottica delle VGA.
Credo anche io che ormai il sistema fps max, min e medio sia troppo riduttivo o meglio poco adattabile ai giochi moderni. Quelli di 10 anni fà contenevano tutti all'interno il classico benchmark integrato nel gioco ora è necessario decidere dei test decidendo di prendere una sequenza definita in precedenza dal recensore ed eseguirla. (Purtroppo l'assenza di un benchmark integrato lascia ai vari recensori la libertà di scegliere quello che vogliono rendendo le review poco comparabili tra di loro).
Fraps può essere un ottimo strumento per "valutare" il comportamento medio di una vga nel tempo di esecuzione, anche se, il micro test di 1 minuti è troppo breve, si ritorna al concetto di benchmark "non integrato ma integrabile"...
Lo studio dell'andamento deve essere almeno valutato su una sezione più lunga, simile a quella che un giocatore può fare, ora non è che si possono chiedere test lungi 1h, ma un buon valore potrebbe essere 600 secondi o 900 (10 minuti- 15 minuti).

Mi trovo un pò restio ad accettare il metodo della valutazione in base alla velocità di rendering del frame. Per un ingegnere o un fisico o qualsiasi base scientifica è facile fare la conversione (facile ma noioso) , se fosse per me parlando di processori o gpu, potreste anche darmi i valori in nanosecondi o picosecondi (tanto frequenza e tempo sono una l'inverso dell'altra) ma sarebbe decisamente "scomodo" o poco "usuale".

Uguale, valutare il tempo di rendering è l'inverso del valutare il frame per second (basta sapere che più il valore è alto, più il FPS risultato è basso), però lo trovo poco "divulgativo" e molto tecnico. Secondo me questo è un lavoro che deve restare nei lab ati o amd per il test driver (Certo cosi si potrebbero aprire o meglio ritornare alle bellissime recensioni non delle vga ma delle varie release di driver che è un pò che non si vedono, per vedere i progressi tra release ed un altra a distanza di tempo)

Ora in una recensione bisogna avere un buon connubio divulgazione/tecnicismo, forse cosi si è passato da una eccessiva divulgazione degli ultimi anni ad un eccessivo tecnicismo.

Però insomma la gente impara, per ora lo strumento pare "alieno" perchè non è mai stato usato o visto, tempo di adattarsi e si potrà valutare una vga anche guardando al volo questi test e non solo i max e di minimi.

Premesso che il connubio hw (vga) e software (driver) è imprescindibile, siete sicuri che magari la presenza di un driver acerbo, usato per fare una recensione per essere i più veloci, non rischi di stroncare una vga?
In quest'ottica vuol dire aspettare a recensire le vga per esser sicuri di avere almeno un driver relativamente buono. O la necessità di riaggiornare la recensione inserendo prove a distanza di tempo ( 1 o 2 release di driver dopo). O semplicemente integrando con recensioni o "round up" dei driver con varie vga a cadenza trimestrale.

Insomma un sistema che sicuramente poterà a dover fare un lavoro extra, perchè l'hw una volta uscito è "monolita" il software invece evolve con il tempo.

Considerazioni interessanti le tue; riassumo così:
1) mix tra essere tecnici e divulgativi. Chi ci riesce in questo settore è veramente bravo e ha tutto il mio rispetto. Detto questo, in questa fase di novità si è necessariamente più sbilanciati sul tecnico e spero di trovare un mix di esposizione grafica che aiuti ad essere un po' più divulgativi.

2) test con driver diversi nel corso del tempo: lavoro molto interessante ma che richiede un impegno di tempo assolutamente non indifferente. Per darti un'idea tra domenica sera e mercoledì alle 17, quando ho finito il pezzo ed è stato pubblicato, ho lavorato circa 35 ore su questo articolo tra test e scrittura, e parte del lavoro l'avevo già fatta nei giorni precedenti. 5 giochi e 3 schede: credo renda l'idea.

3) sessioni di gioco di 10-15 minuti: vero anche qui, ma ti assicuro che è già difficile assicurare una buona ripetibilità della scena su sistemi diversi con una durata di 1 minuti, allungando la sessione le variabili aumentano e si rischia di arrivare a dati di sintesi tra schede diverse che non rappresentano la stessa cosa.

[Paolo Corsini]

Originariamente inviato da mirkonorroz

Articolo molto interessante. Peccato che io non abbia gli strumenti per comprenderlo a fondo

Mi sembra strano "colpevolizzare" la scheda video togliendogli frames dalla valutazione delle sue prestazioni che lei comunque genera ma che altri meccanismi rendono inutili.

Forse ne abbiamo già discusso nell'altra discussione, ma ripropongo qui. Non è una questione di colpevolizzare la scheda, ma semplicemente di capire cosa si voglia misurare. In questo caso l'obiettivo è sapere cosa la scheda genera a video ed è visibile dall'utente durante la sessione di gioco.

[Paolo Corsini]

Originariamente inviato da frankie

Oltre ai problemi qui esposti c'è un altro fattore che passa inosservato.
A priori, scartando deviazione dovuta allo stuttering ecc sembrerebbe che
frame time = 1/fps e viceversa.
Vero! ma le distribuzioni risultanti non sono le medesime e quindi anche le statistiche e le valutazioni non possono essere equivalenti.

Anzi andrebbero inserite delle statistiche inferenziali per le recensioni per fare la differenza. Questa potrebbe ovviare alla variabilità del frame rate.

Ulteriori info via email!

Ciao Frankie

(long time not talking to you, hope everything's fine )

mi sono onestamente perso nella tua risposta. Il frame time è il tempo di elaborazione richiesto per generare uno specifico frame da parte della scheda video (o meglio bisognerebbe dire dalla pipeline di rendering grafica); se vuoi convertire questo in frame al secondo (ma questa è una indicazione istntanea riferita a quello specifico frame che viene calcolato) prendi i ms e fai (1/frametime in ms)x1000 e ottieni gli FPS

[Paolo Corsini]

Originariamente inviato da marchigiano

complimenti alla redazione, ora sarebbe bello anche un test sulle cpu, magari a partire dalle prossime haswell a confronto con le vecchie almeno fino a nehalem e phenomII

potrebbero venire fuori cose interessanti sul cpu limited...

Intendi applicare FCAT per capire come variano le prestazioni della GPU al variare della CPU utilizzata?
Se è questo è una cosa che ho già in mente di fare

[Paolo Corsini]

Originariamente inviato da illidan2000

magari sarebbe sufficiente fare i test a 1920x1080 invece che a 2560x1440, per renderlo più agevole. Poi, è ovvio che a 2560 la scheda va più piano, ma già hai una idea ben precisa di quella scheda video

Dipende dalla scheda. Sulle VGA di fascia entry level e media, le prossime che analizzerò dalla prossima settimana, 1920x1080 è IMHO il massimo. Per una scheda che costa 1.000€ non ha senso non abbinare uno schermo di risoluzione adeguata, quindi 2560x1440 oppure 3 schermi 1920x1080 in surround

[Paolo Corsini]

Originariamente inviato da calabar

@maumau138
.....

Ultima riflessione: ma AMD quindi non ha fornito alcun sistema per l'analisi dei frame come ha fatto Nvidia? Se non l'ha fatto, cosa utilizzerete nelle recensioni, sempre fraps? O la macchina nvidia può essere usata anche con flussi video provenienti da scheda AMD?

FCAP, giusto per maggiore precisione, è indipendente dalla scheda video utilizzata e dai driver.

[Paolo Corsini]

Sto leggendo i commenti e cerco di rispondere uno ad uno. Parto però con una prima domanda: sarebbe preferibile, per questo tipo di grafico



non inserire i dati come tempo di elaborazione in millisecondi ma come frames al secondo? Questo peermetterebbe di disegnare lo stesso tipo di grafico, ma con linee più "alte" che equivalgono a prestazioni superiori. Mi sono domandato se la cosa fosse utile durante la scrittura dell'articolo sulla radeon HD 7990 ma non ho fatto in tempo a sviluppare la cosa.

Ovviamente stessa considerazione per il grafico della distribuzione percentile qui sopra riportato.

[Paolo Corsini]

Originariamente inviato da amd-novello

non si può far generare alla scheda o alla cpu o a sarcazzo un report testuale su tutto quello che viene fatto per generare frame e quanto tempo ci si mette invece di misurare a schermo cosa succede?

Si, si può. Fallo. Io non ne sono capace. Ciao.

[dav1deser]

Originariamente inviato da Paolo Corsini

Sto leggendo i commenti e cerco di rispondere uno ad uno. Parto però con una prima domanda: sarebbe preferibile, per questo tipo di grafico



non inserire i dati come tempo di elaborazione in millisecondi ma come frames al secondo? Questo peermetterebbe di disegnare lo stesso tipo di grafico, ma con linee più "alte" che equivalgono a prestazioni superiori. Mi sono domandato se la cosa fosse utile durante la scrittura dell'articolo sulla radeon HD 7990 ma non ho fatto in tempo a sviluppare la cosa.

Ovviamente stessa considerazione per il grafico della distribuzione percentile qui sopra riportato.

Più che altro credo sia questione di abitudine, però è indubbio che "a colpo d'occhio" gli FPS siano meglio, banalmente perchè la potenza espressa è direttamente proporzionale con l'altezza delle curve: doppia potenza -> doppia altezza, mentre con i millisecondi la proporzionalità è inversa quindi richiede un attimo più di ragionamento: doppia potenza -> mezza altezza. Inoltre fintanto che le schede in gioco sono poche i millisecondi non danno particolari problemi ma se ne avessimo molte le più potenti finirebbero compresse in un intervallo limitato (in proporzione ai valori massimi raggiunti) e quindi risulterebbe più complicato dedurne le effettive differenze prestazionali.

[amd-novello]

Originariamente inviato da Paolo Corsini

Si, si può. Fallo. Io non ne sono capace. Ciao.

Non chiedevo mica a te. Ma ai programmatori dei driver

[Paolo Corsini]

Originariamente inviato da amd-novello

Non chiedevo mica a te. Ma ai programmatori dei driver

Partendo dal presupposto che i "programmatori dei driver" fanno il loro mestiere, cioè sviluppano driver e non metodologie di test degli FPS per chi esegue recensioni, il tuo post precedente era

Originariamente inviato da amd-novello

ma solo a me il sistema nvidia sembra ridicolmente complesso? è come scacciare le zanzare col bazooka

non si può far generare alla scheda o alla cpu o a sarcazzo un report testuale su tutto quello che viene fatto per generare frame e quanto tempo ci si mette invece di misurare a schermo cosa succede?

Una cosa ti sembra ridicolmente complessa, e al posto di quella basta un report testuale "fatto fare da sarcazzo" per avere i dati che servono. O sei l'unico così brillante da aver capito come si fanno le cose, e da questo la mia richiesta precedente, o semplicemente la cosa non è così banale e non è sufficiente l'intervento dell'"amico sarcazzo" per risolvere la questione.