Link all'Articolo: http://www.hwupgrade.it/articoli/skvideo/3607/un-nuovo-approccio-ai-test-delle-schede-video_index.html

Frame time, FCAT, sistemi di acquisizione video, percentile e ruolo di Fraps. L'analisi delle schede video di nuova generazione è una operazione che sta diventando sempre più complessa, spinta ben oltre il buon vecchio "frames al secondo medi". Vediamone la teoria alla base e le scelte che abbiamo sseguito internamente.

Click sul link per visualizzare l'articolo.

Seguo HW da ormai 15 anni, sopratutto nell'ottica delle VGA.
Credo anche io che ormai il sistema fps max, min e medio sia troppo riduttivo o meglio poco adattabile ai giochi moderni. Quelli di 10 anni fà contenevano tutti all'interno il classico benchmark integrato nel gioco ora è necessario decidere dei test decidendo di prendere una sequenza definita in precedenza dal recensore ed eseguirla. (Purtroppo l'assenza di un benchmark integrato lascia ai vari recensori la libertà di scegliere quello che vogliono rendendo le review poco comparabili tra di loro).
Fraps può essere un ottimo strumento per "valutare" il comportamento medio di una vga nel tempo di esecuzione, anche se, il micro test di 1 minuti è troppo breve, si ritorna al concetto di benchmark "non integrato ma integrabile"...
Lo studio dell'andamento deve essere almeno valutato su una sezione più lunga, simile a quella che un giocatore può fare, ora non è che si possono chiedere test lungi 1h, ma un buon valore potrebbe essere 600 secondi o 900 (10 minuti- 15 minuti).

Mi trovo un pò restio ad accettare il metodo della valutazione in base alla velocità di rendering del frame. Per un ingegnere o un fisico o qualsiasi base scientifica è facile fare la conversione (facile ma noioso) , se fosse per me parlando di processori o gpu, potreste anche darmi i valori in nanosecondi o picosecondi (tanto frequenza e tempo sono una l'inverso dell'altra) ma sarebbe decisamente "scomodo" o poco "usuale".

Uguale, valutare il tempo di rendering è l'inverso del valutare il frame per second (basta sapere che più il valore è alto, più il FPS risultato è basso), però lo trovo poco "divulgativo" e molto tecnico. Secondo me questo è un lavoro che deve restare nei lab ati o amd per il test driver (Certo cosi si potrebbero aprire o meglio ritornare alle bellissime recensioni non delle vga ma delle varie release di driver che è un pò che non si vedono, per vedere i progressi tra release ed un altra a distanza di tempo)

Ora in una recensione bisogna avere un buon connubio divulgazione/tecnicismo, forse cosi si è passato da una eccessiva divulgazione degli ultimi anni ad un eccessivo tecnicismo.

Però insomma la gente impara, per ora lo strumento pare "alieno" perchè non è mai stato usato o visto, tempo di adattarsi e si potrà valutare una vga anche guardando al volo questi test e non solo i max e di minimi.

Premesso che il connubio hw (vga) e software (driver) è imprescindibile, siete sicuri che magari la presenza di un driver acerbo, usato per fare una recensione per essere i più veloci, non rischi di stroncare una vga?
In quest'ottica vuol dire aspettare a recensire le vga per esser sicuri di avere almeno un driver relativamente buono. O la necessità di riaggiornare la recensione inserendo prove a distanza di tempo ( 1 o 2 release di driver dopo). O semplicemente integrando con recensioni o "round up" dei driver con varie vga a cadenza trimestrale.

Insomma un sistema che sicuramente poterà a dover fare un lavoro extra, perchè l'hw una volta uscito è "monolita" il software invece evolve con il tempo.

Riguardo a FCAT, non è possibile registrare il solo overlay o comunque scartare gran parte dell'immagine di gioco (che da quel che ho capito non è molto utile ai fini dell'analisi)? In questo modo si limiterebbe la mole di dati da scrivere e risulterebbe sufficiente un singolo SSD.

Articolo molto interessante. Peccato che io non abbia gli strumenti per comprenderlo a fondo :(

Anche questi frames, con uno sviluppo in verticale compreso tra 1 e 20 pixel, sono secondo NVIDIA da considerare nulli e quindi da omettere nella valutazione delle prestazioni velocistiche delle schede video in quanto non vengono materialmente visualizzati dal videogiocatore, in quanto sul display per troppo poco tempo, al pari di quelli dropped

Mi sembra strano "colpevolizzare" la scheda video togliendogli frames dalla valutazione delle sue prestazioni che lei comunque genera ma che altri meccanismi rendono inutili.

Oltre ai problemi qui esposti c'è un altro fattore che passa inosservato.
A priori, scartando deviazione dovuta allo stuttering ecc sembrerebbe che
frame time = 1/fps e viceversa.
Vero! ma le distribuzioni risultanti non sono le medesime e quindi anche le statistiche e le valutazioni non possono essere equivalenti.

Anzi andrebbero inserite delle statistiche inferenziali per le recensioni per fare la differenza. Questa potrebbe ovviare alla variabilità del frame rate.

Ulteriori info via email!

complimenti alla redazione, ora sarebbe bello anche un test sulle cpu, magari a partire dalle prossime haswell a confronto con le vecchie almeno fino a nehalem e phenomII

potrebbero venire fuori cose interessanti sul cpu limited...

In effetti l'analisi del frame rate medio dice poco ormai. Ammirevole lo sforzo di nvidia nel valutare questo tipo di analisi prendendo i dovuti provvedimenti. Speriamo che anche AMD faccia lo stesso, ed in maniera decente.

magari sarebbe sufficiente fare i test a 1920x1080 invece che a 2560x1440, per renderlo più agevole. Poi, è ovvio che a 2560 la scheda va più piano, ma già hai una idea ben precisa di quella scheda video

Articolo molto interessante. Peccato che io non abbia gli strumenti per comprenderlo a fondo :(



Mi sembra strano "colpevolizzare" la scheda video togliendogli frames dalla valutazione delle sue prestazioni che lei comunque genera ma che altri meccanismi rendono inutili.

Secondo me ha senso, è vero che la scheda calcola comunque il frame, ma alla fine conta quello che vedi a schermo, l'esperienza dell'utente è quella su cui deve focalizzarsi la recensione.

Oltre ai problemi qui esposti c'è un altro fattore che passa inosservato.
A priori, scartando deviazione dovuta allo stuttering ecc sembrerebbe che
frame time = 1/fps e viceversa.
Vero! ma le distribuzioni risultanti non sono le medesime e quindi anche le statistiche e le valutazioni non possono essere equivalenti.

Anzi andrebbero inserite delle statistiche inferenziali per le recensioni per fare la differenza. Questa potrebbe ovviare alla variabilità del frame rate.

Ulteriori info via email!

Corri il rischio di rendere il tutto incomprensibile a chi di statistica non capisce un'emerita ceppa, già così ci vorrà un poco affinché questi nuovi grafici vengano compresi per benino, se ci aggiungi altre informazioni non immediatamente percepibili o fai un lavoro enorme di divulgazione oppure per molti avrai scritto qualcosa in ostrogoto antico.

lo userete con la 7990?

In effetti l'analisi del frame rate medio dice poco ormai. Ammirevole lo sforzo di nvidia nel valutare questo tipo di analisi prendendo i dovuti provvedimenti. Speriamo che anche AMD faccia lo stesso, ed in maniera decente.

forse perchè ha capito che era a suo favore :D

pensi che amd non sapeva questa cosa? ma a lei faceva comodo stare zitta...

Questo è uno dei migliori articoli di HWUpgrade da molto tempo, bravi, continuate così!

Questo è uno dei migliori articoli di HWUpgrade da molto tempo, bravi, continuate così!

Ottimo articolo davvero, sopratutto e finalmente un qualcosa con un taglio squisitamente tecnico ma con spiegazioni assolutamente comprensibili senza ricorrere a paroloni che cadono dall'alto noti solo agli addetti ai lavori.

Quando un articolo ha questo taglio riesce ad appassionare anche chi ha interessi incentrati su altre problematiche (me ad esempio, che proprio di giochi non sono un patito), e sopratutto non si presta a dare adito a quelle guerre di religione ricche di maleducazione se non di insulti tra le tifoserie, cosa che francamente mi disgusta.

@maumau138
Corri il rischio di rendere il tutto incomprensibile a chi di statistica non capisce un'emerita ceppa,
Secondo me invece ha ragione, pochi indici ben studiati potrebbero indicare in maniera semplice concetti complessi, riducendoli ad un "più questo valore si avvicina a zero meglio è".
Il bello è che, dati alla mano, possono essere calcolati in automatico senza alcuno sforzo per il recensore.

Interessante invece la riflessione fatta da un utente che ha scritto sopra, ossia il fatto che magari la recensione di un titolo nuovo con una scheda nuova possa fornire una visione molto alterata della situazione reale, dato che spesso, per poter pubblicare per tempo la recensione di una nuova scheda, ci si affida a driver ancora non del tutto pronti.
Questo richiede un ulteriore sforzo per la redazione, che dovrebbe evitare di lasciare in rete articoli le cui conclusioni non rappresentano la situazione reale anche solo pochi giorni o settimane dopo la sua uscita, facendo si che tali recensioni possano essere una fonte di valutazione sbagliata per chi si trova a leggerle qualche tempo dopo.

Per quanto riguarda FRAPS, non ho mai approfondito, ma in passato si riteneva questo software poco affidabile non tanto per il motivo ben sottolineato in questo articolo, ma perchè di fatto falsava i risultati, tanto che per un certo periodo la redazione aveva cercato di ridurre al minimo la recensioni di titoli che potevano essere misurati solo con questa utility.
A maggior ragione quindi parrebbe abbia ancora meno senso utilizzarla per un'analisi delicata come quella del tempo di frame.

Ultima riflessione: ma AMD quindi non ha fornito alcun sistema per l'analisi dei frame come ha fatto Nvidia? Se non l'ha fatto, cosa utilizzerete nelle recensioni, sempre fraps? O la macchina nvidia può essere usata anche con flussi video provenienti da scheda AMD?

Se ho capito bene FCAT non sarà utilizzato per via dei costi e del doppio pc.

Secondo me ha senso, è vero che la scheda calcola comunque il frame, ma alla fine conta quello che vedi a schermo, l'esperienza dell'utente è quella su cui deve focalizzarsi la recensione.


Non so, in linea generale come utenti potrebbe essere giusto, ma appunto dalla parte utente che compra la scheda in un determinato momento ad un determinato prezzo.
Dalla parte dello sviluppatore, invece sapere quale anello della catena e' effettivamente il piu' debole serve. Non posso dire che la scheda e' lenta se invece ad esserlo e' il gioco scritto male o i drivers. Se non altro avro' la speranza di migliorare le cose via SW (e questo a dire il vero interessa anche me come utente). E si ricollega anche al fatto delle recensioni premature imho.
Chiaro che se nessuno si muove non facendo nulla per ottimizzare si puo' fare finta che sia la scheda lenta. Forse bisognerebbe parlare di sistema lento.
Comunque e' anche vero che le recensioni andrebbero sempre prese come casi particolari.

Io avrei una domanda. Ora che hanno il grafico dello stuttering come lo usano? C'e' qualche esperto qui che saprebbe fare un esempio?
Cioe' si saranno accorti dello stuttering anche ad occhio come ciascuno di noi, da anni, non solo 2.
Sarebbe bello sapere cosa ha fatto nvidia di preciso per ridurre l'ampiezza delle oscillazioni e in che modo le sia servito il grafico.

Bene, finalmente anche HWUp si mette al passo delle recensioni più affidabili e professionali sulla rete, come Tom's Hardware.

Bene, finalmente anche HWUp si mette al passo delle recensioni più affidabili e professionali sulla rete, come Tom's Hardware.

tra tutti e due, non saprei di che morte morire... secondo me non si può fare di tutta l'erba un fascio. Ci sono buoni recensori da entrambi le parti, e può capitare di sbagliare o cadere in negligenze per questioni di tempistica stretta.
Certe recensioni andrebbero fatte a quattro mani...

no tom's professionale equivale a dire una bestemmia.
Che su hw, negli ultimi 5 o 6 ci siano state delle rece molto "miti e leggende" credo sia dovuto al successo incredibile del sito, che è passato da essere uno dei tanti covi di appassionati ad essere forse il sito con maggiore impatto mediatico per queste cose. Iniziando a fare anche collaborazioni in altro campo.
Basti pensare che fino a 5 o 6 anni fà, per me hw era un principalmente il "mercatino" e poi per le discussioni tecniche, rimanevo sempre sul mai troppo compianto nvitalia. Purtroppo il sito è venuto meno ed è rimasto hw.
Ci sono realtà molto attive nel paronorama italiano, come xtremehardware, fino ad 1 anno fà avrei messo anche pctuner, ma purtroppo il fondatore per motivi privati ha dovuto lasciare ed il sito è stato acquistato e secondo me è andato un pò alla deriva.

Per il resto adoro molto lo stile di techpowerup, nel recensire non solo la scheda prestazionalmente parlando, ma anche smontandola e evidenziando la qualità costruttiva della stessa. Certo sono ancora legati al fps medio però le comparazioni accessorie con le altre vga a fine rece non mi dispiacciono.

no tom's professionale equivale a dire una bestemmia.
Che su hw, negli ultimi 5 o 6 ci siano state delle rece molto "miti e leggende" credo sia dovuto al successo incredibile del sito, che è passato da essere uno dei tanti covi di appassionati ad essere forse il sito con maggiore impatto mediatico per queste cose. Iniziando a fare anche collaborazioni in altro campo.
Basti pensare che fino a 5 o 6 anni fà, per me hw era un principalmente il "mercatino" e poi per le discussioni tecniche, rimanevo sempre sul mai troppo compianto nvitalia. Purtroppo il sito è venuto meno ed è rimasto hw.
Ci sono realtà molto attive nel paronorama italiano, come xtremehardware, fino ad 1 anno fà avrei messo anche pctuner, ma purtroppo il fondatore per motivi privati ha dovuto lasciare ed il sito è stato acquistato e secondo me è andato un pò alla deriva.

Per il resto adoro molto lo stile di techpowerup, nel recensire non solo la scheda prestazionalmente parlando, ma anche smontandola e evidenziando la qualità costruttiva della stessa. Certo sono ancora legati al fps medio però le comparazioni accessorie con le altre vga a fine rece non mi dispiacciono.
fortunatamente all'estero ce ne stanno tanto

ottimo lavoro

Insomma, dopo millanta anni si è capito che "se io ho mangiato due polli e tu zero", non siamo proprio felici e contenti con un pollo a testa. Credevo fosse assodato che dire di fare 30fps, fossero 30fps di media, con tutto ciò che ne deriva.. O.o

gustoso articolo, grazie.

@maumau138
Corri il rischio di rendere il tutto incomprensibile a chi di statistica non capisce un'emerita ceppa,
Secondo me invece ha ragione, pochi indici ben studiati potrebbero indicare in maniera semplice concetti complessi, riducendoli ad un "più questo valore si avvicina a zero meglio è".
Il bello è che, dati alla mano, possono essere calcolati in automatico senza alcuno sforzo per il recensore.
mica vero... i dati son tanti per singola rivelazione e per 1 solo misero minuto (considera che la 690 faceva oltre 6000 frame singoli, e li devi analizzare singolarmente), i bench sono tanti, e se fai una race...
con i dati del passato articolo ho cercato di analizzarli, ma e' un sistema piu' simile allo studio dei segnali, che ad altre forme di analisi, e sono calcoli non certo facili da fare per la macchina e da dover analizzare ed interpretare (non e' che prendi i dati e li metti nella sheet).

Interessante invece la riflessione fatta da un utente che ha scritto sopra, ossia il fatto che magari la recensione di un titolo nuovo con una scheda nuova possa fornire una visione molto alterata della situazione reale, dato che spesso, per poter pubblicare per tempo la recensione di una nuova scheda, ci si affida a driver ancora non del tutto pronti.
Questo richiede un ulteriore sforzo per la redazione, che dovrebbe evitare di lasciare in rete articoli le cui conclusioni non rappresentano la situazione reale anche solo pochi giorni o settimane dopo la sua uscita, facendo si che tali recensioni possano essere una fonte di valutazione sbagliata per chi si trova a leggerle qualche tempo dopo.

questo e' vero, ma diverrebbe oltre che un gran lavoro ad ogni recensione, una faticosa ripetizione.
ad ogni relese dei draiver ritestare ogni singola scheda?

Per quanto riguarda FRAPS, non ho mai approfondito, ma in passato si riteneva questo software poco affidabile non tanto per il motivo ben sottolineato in questo articolo, ma perchè di fatto falsava i risultati, tanto che per un certo periodo la redazione aveva cercato di ridurre al minimo la recensioni di titoli che potevano essere misurati solo con questa utility.
A maggior ragione quindi parrebbe abbia ancora meno senso utilizzarla per un'analisi delicata come quella del tempo di frame.

in passato gravava sulla CPU, gia' provata dal gioco; un sistema esterno non compromette l'esecuzione del test, ma lo hanno ben descritto... impegnativo.

ma solo a me il sistema nvidia sembra ridicolmente complesso? è come scacciare le zanzare col bazooka

non si può far generare alla scheda o alla cpu o a sarcazzo un report testuale su tutto quello che viene fatto per generare frame e quanto tempo ci si mette invece di misurare a schermo cosa succede?

ma solo a me il sistema nvidia sembra ridicolmente complesso? è come scacciare le zanzare col bazooka

non si può far generare alla scheda o alla cpu o a sarcazzo un report testuale su tutto quello che viene fatto per generare frame e quanto tempo ci si mette invece di misurare a schermo cosa succede?

quello lo fa già fraps... sicuramente stanno cercando altri metodo, ma se non l'hanno già fatto, vuol dire che non è semplice come si possa pensare

no frap misura l'inizio della generazione di frame

io intendo che il pc in sè conosce molto bene quanto tempo ci mette a generane uno e può compilare un record preciso

fraps fa schifo in confronto

Saluti a tutti

quando ho pubblicato quest'articolo mi sono subito buttato a chiudere il pezzo successivo, la recensione della Radeon HD 7790. Non ho quindi seguito in nessun modo questi commenti (che, beninteso, non ho ancora letto). Ho commentato quella recensione; cerco in questi giorni di riprendere quanto avete scritto qui e di rispondere punto per punto alle osservazioni e ai dubbi emersi.

Scusate il ritardo, cerco di mettermi in pari (e se riesco anche a fare un briciolo di ponte in questi giorni, avendone anche io bisogno ;))

un analisi reale elimina qualsiasi interferenza sul sisstema analizzato, quindi devi riferirti solo all'output (ed e' gia' tanto aver modificato i driver per far colorare i frame).

il sistema non puo' essere analizzato diversamente, se ci pensi, in quanto, in uscita dalla ram video, hai direttamente lo pseudo ramdac (il temporizzatore), e che comunque i monitor hanno una loro scheda di digitalizzazione, che prende l'input e lo fa' visualizzare, ma non e' un processo pixel-to-pixel.

se invece di un 60hz prendi un 120hz i risultati a video cambiano (e sarebbe opportuno valutare se in meglio o in peggio).

Seguo HW da ormai 15 anni, sopratutto nell'ottica delle VGA.
Credo anche io che ormai il sistema fps max, min e medio sia troppo riduttivo o meglio poco adattabile ai giochi moderni. Quelli di 10 anni fà contenevano tutti all'interno il classico benchmark integrato nel gioco ora è necessario decidere dei test decidendo di prendere una sequenza definita in precedenza dal recensore ed eseguirla. (Purtroppo l'assenza di un benchmark integrato lascia ai vari recensori la libertà di scegliere quello che vogliono rendendo le review poco comparabili tra di loro).
Fraps può essere un ottimo strumento per "valutare" il comportamento medio di una vga nel tempo di esecuzione, anche se, il micro test di 1 minuti è troppo breve, si ritorna al concetto di benchmark "non integrato ma integrabile"...
Lo studio dell'andamento deve essere almeno valutato su una sezione più lunga, simile a quella che un giocatore può fare, ora non è che si possono chiedere test lungi 1h, ma un buon valore potrebbe essere 600 secondi o 900 (10 minuti- 15 minuti).

Mi trovo un pò restio ad accettare il metodo della valutazione in base alla velocità di rendering del frame. Per un ingegnere o un fisico o qualsiasi base scientifica è facile fare la conversione (facile ma noioso) , se fosse per me parlando di processori o gpu, potreste anche darmi i valori in nanosecondi o picosecondi (tanto frequenza e tempo sono una l'inverso dell'altra) ma sarebbe decisamente "scomodo" o poco "usuale".

Uguale, valutare il tempo di rendering è l'inverso del valutare il frame per second (basta sapere che più il valore è alto, più il FPS risultato è basso), però lo trovo poco "divulgativo" e molto tecnico. Secondo me questo è un lavoro che deve restare nei lab ati o amd per il test driver (Certo cosi si potrebbero aprire o meglio ritornare alle bellissime recensioni non delle vga ma delle varie release di driver che è un pò che non si vedono, per vedere i progressi tra release ed un altra a distanza di tempo)

Ora in una recensione bisogna avere un buon connubio divulgazione/tecnicismo, forse cosi si è passato da una eccessiva divulgazione degli ultimi anni ad un eccessivo tecnicismo.

Però insomma la gente impara, per ora lo strumento pare "alieno" perchè non è mai stato usato o visto, tempo di adattarsi e si potrà valutare una vga anche guardando al volo questi test e non solo i max e di minimi.

Premesso che il connubio hw (vga) e software (driver) è imprescindibile, siete sicuri che magari la presenza di un driver acerbo, usato per fare una recensione per essere i più veloci, non rischi di stroncare una vga?
In quest'ottica vuol dire aspettare a recensire le vga per esser sicuri di avere almeno un driver relativamente buono. O la necessità di riaggiornare la recensione inserendo prove a distanza di tempo ( 1 o 2 release di driver dopo). O semplicemente integrando con recensioni o "round up" dei driver con varie vga a cadenza trimestrale.

Insomma un sistema che sicuramente poterà a dover fare un lavoro extra, perchè l'hw una volta uscito è "monolita" il software invece evolve con il tempo.

Considerazioni interessanti le tue; riassumo così:
1) mix tra essere tecnici e divulgativi. Chi ci riesce in questo settore è veramente bravo e ha tutto il mio rispetto. Detto questo, in questa fase di novità si è necessariamente più sbilanciati sul tecnico e spero di trovare un mix di esposizione grafica che aiuti ad essere un po' più divulgativi.

2) test con driver diversi nel corso del tempo: lavoro molto interessante ma che richiede un impegno di tempo assolutamente non indifferente. Per darti un'idea tra domenica sera e mercoledì alle 17, quando ho finito il pezzo ed è stato pubblicato, ho lavorato circa 35 ore su questo articolo tra test e scrittura, e parte del lavoro l'avevo già fatta nei giorni precedenti. 5 giochi e 3 schede: credo renda l'idea.

3) sessioni di gioco di 10-15 minuti: vero anche qui, ma ti assicuro che è già difficile assicurare una buona ripetibilità della scena su sistemi diversi con una durata di 1 minuti, allungando la sessione le variabili aumentano e si rischia di arrivare a dati di sintesi tra schede diverse che non rappresentano la stessa cosa.

Articolo molto interessante. Peccato che io non abbia gli strumenti per comprenderlo a fondo :(

Mi sembra strano "colpevolizzare" la scheda video togliendogli frames dalla valutazione delle sue prestazioni che lei comunque genera ma che altri meccanismi rendono inutili.
Forse ne abbiamo già discusso nell'altra discussione, ma ripropongo qui. Non è una questione di colpevolizzare la scheda, ma semplicemente di capire cosa si voglia misurare. In questo caso l'obiettivo è sapere cosa la scheda genera a video ed è visibile dall'utente durante la sessione di gioco.

Oltre ai problemi qui esposti c'è un altro fattore che passa inosservato.
A priori, scartando deviazione dovuta allo stuttering ecc sembrerebbe che
frame time = 1/fps e viceversa.
Vero! ma le distribuzioni risultanti non sono le medesime e quindi anche le statistiche e le valutazioni non possono essere equivalenti.

Anzi andrebbero inserite delle statistiche inferenziali per le recensioni per fare la differenza. Questa potrebbe ovviare alla variabilità del frame rate.

Ulteriori info via email!
Ciao Frankie

(long time not talking to you, hope everything's fine ;))

mi sono onestamente perso nella tua risposta. Il frame time è il tempo di elaborazione richiesto per generare uno specifico frame da parte della scheda video (o meglio bisognerebbe dire dalla pipeline di rendering grafica); se vuoi convertire questo in frame al secondo (ma questa è una indicazione istntanea riferita a quello specifico frame che viene calcolato) prendi i ms e fai (1/frametime in ms)x1000 e ottieni gli FPS

complimenti alla redazione, ora sarebbe bello anche un test sulle cpu, magari a partire dalle prossime haswell a confronto con le vecchie almeno fino a nehalem e phenomII

potrebbero venire fuori cose interessanti sul cpu limited...
Intendi applicare FCAT per capire come variano le prestazioni della GPU al variare della CPU utilizzata?
Se è questo è una cosa che ho già in mente di fare

magari sarebbe sufficiente fare i test a 1920x1080 invece che a 2560x1440, per renderlo più agevole. Poi, è ovvio che a 2560 la scheda va più piano, ma già hai una idea ben precisa di quella scheda video
Dipende dalla scheda. Sulle VGA di fascia entry level e media, le prossime che analizzerò dalla prossima settimana, 1920x1080 è IMHO il massimo. Per una scheda che costa 1.000€ non ha senso non abbinare uno schermo di risoluzione adeguata, quindi 2560x1440 oppure 3 schermi 1920x1080 in surround

@maumau138
.....

Ultima riflessione: ma AMD quindi non ha fornito alcun sistema per l'analisi dei frame come ha fatto Nvidia? Se non l'ha fatto, cosa utilizzerete nelle recensioni, sempre fraps? O la macchina nvidia può essere usata anche con flussi video provenienti da scheda AMD?
FCAP, giusto per maggiore precisione, è indipendente dalla scheda video utilizzata e dai driver.

Sto leggendo i commenti e cerco di rispondere uno ad uno. Parto però con una prima domanda: sarebbe preferibile, per questo tipo di grafico

http://www.hwupgrade.it/articoli/skvideo/3609/tomb_raider_1.png

non inserire i dati come tempo di elaborazione in millisecondi ma come frames al secondo? Questo peermetterebbe di disegnare lo stesso tipo di grafico, ma con linee più "alte" che equivalgono a prestazioni superiori. Mi sono domandato se la cosa fosse utile durante la scrittura dell'articolo sulla radeon HD 7990 ma non ho fatto in tempo a sviluppare la cosa.

Ovviamente stessa considerazione per il grafico della distribuzione percentile qui sopra riportato.

http://www.hwupgrade.it/articoli/skvideo/3609/tomb_raider_4.png

non si può far generare alla scheda o alla cpu o a sarcazzo un report testuale su tutto quello che viene fatto per generare frame e quanto tempo ci si mette invece di misurare a schermo cosa succede?
Si, si può. Fallo. Io non ne sono capace. Ciao.

Sto leggendo i commenti e cerco di rispondere uno ad uno. Parto però con una prima domanda: sarebbe preferibile, per questo tipo di grafico

http://www.hwupgrade.it/articoli/skvideo/3609/tomb_raider_1.png

non inserire i dati come tempo di elaborazione in millisecondi ma come frames al secondo? Questo peermetterebbe di disegnare lo stesso tipo di grafico, ma con linee più "alte" che equivalgono a prestazioni superiori. Mi sono domandato se la cosa fosse utile durante la scrittura dell'articolo sulla radeon HD 7990 ma non ho fatto in tempo a sviluppare la cosa.

Ovviamente stessa considerazione per il grafico della distribuzione percentile qui sopra riportato.

http://www.hwupgrade.it/articoli/skvideo/3609/tomb_raider_4.png

Più che altro credo sia questione di abitudine, però è indubbio che "a colpo d'occhio" gli FPS siano meglio, banalmente perchè la potenza espressa è direttamente proporzionale con l'altezza delle curve: doppia potenza -> doppia altezza, mentre con i millisecondi la proporzionalità è inversa quindi richiede un attimo più di ragionamento: doppia potenza -> mezza altezza. Inoltre fintanto che le schede in gioco sono poche i millisecondi non danno particolari problemi ma se ne avessimo molte le più potenti finirebbero compresse in un intervallo limitato (in proporzione ai valori massimi raggiunti) e quindi risulterebbe più complicato dedurne le effettive differenze prestazionali.

Si, si può. Fallo. Io non ne sono capace. Ciao.

Non chiedevo mica a te. Ma ai programmatori dei driver

Non chiedevo mica a te. Ma ai programmatori dei driver
Partendo dal presupposto che i "programmatori dei driver" fanno il loro mestiere, cioè sviluppano driver e non metodologie di test degli FPS per chi esegue recensioni, il tuo post precedente era

ma solo a me il sistema nvidia sembra ridicolmente complesso? è come scacciare le zanzare col bazooka

non si può far generare alla scheda o alla cpu o a sarcazzo un report testuale su tutto quello che viene fatto per generare frame e quanto tempo ci si mette invece di misurare a schermo cosa succede?

Una cosa ti sembra ridicolmente complessa, e al posto di quella basta un report testuale "fatto fare da sarcazzo" per avere i dati che servono. O sei l'unico così brillante da aver capito come si fanno le cose, e da questo la mia richiesta precedente, o semplicemente la cosa non è così banale e non è sufficiente l'intervento dell'"amico sarcazzo" per risolvere la questione.

Sto leggendo i commenti e cerco di rispondere uno ad uno. Parto però con una prima domanda: sarebbe preferibile, per questo tipo di grafico

http://www.hwupgrade.it/articoli/skvideo/3609/tomb_raider_1.png

non inserire i dati come tempo di elaborazione in millisecondi ma come frames al secondo? Questo peermetterebbe di disegnare lo stesso tipo di grafico, ma con linee più "alte" che equivalgono a prestazioni superiori. Mi sono domandato se la cosa fosse utile durante la scrittura dell'articolo sulla radeon HD 7990 ma non ho fatto in tempo a sviluppare la cosa.

Ovviamente stessa considerazione per il grafico della distribuzione percentile qui sopra riportato.

http://www.hwupgrade.it/articoli/skvideo/3609/tomb_raider_4.png

Visto che siamo abituati a vedere i fps, forse ribaltare il grafico agevolerebbe nella lettura. Io personalmente tendo ad invertire il tempo per ottenere la frequenza, appunto per lavorare con numeretti che mi sono più familiari.

Un piccolo appunto, ho notato, specialmente nella recensione della 7990 che i grafici delle Radeon vengono visualizzati "sopra" quelli delle altre schede, e visto che questi sono altamente ballerini si ha che la macchia di colore rosso (o giallo) copre i grafici delle altre schede. Forse sarebbe meglio tenere in primo piano i grafici più regolari, e sullo sfondo quelli più irregolari in modo da riuscire a visualizzare meglio il tutto.

Ho poi ragionato un poco su quello che proponeva frankie, forse inserire anche due o tre dati, ad esempio scarto e varianza (calcolabili facilmente), potrebbe dare un'altra misura (forse anche più immediata) di come si comporta la scheda.

Grazie degli spunti; ho in mente di provare per il prossimo articolo a
1) mettere i grafici del frame time in fps e non in ms
2) gestire meglio i grafici del frame time, soprattutto con più schede, facendo in modo che i diversi andamenti siano più facilmente distinguibili
3) inserire qualche analisi della varianza dei dati

Oltre a questo, se riesco anche aggiungere qualche indicazione di baseline (sullo stile di quello che si faceva in passato con la soglia "sotto i 30 fps non è più fluida la riproduzione), ma devo ancora sperimentare cosa e come.

Grazie degli spunti; ho in mente di provare per il prossimo articolo a
1) mettere i grafici del frame time in fps e non in ms
2) gestire meglio i grafici del frame time, soprattutto con più schede, facendo in modo che i diversi andamenti siano più facilmente distinguibili
3) inserire qualche analisi della varianza dei dati

Oltre a questo, se riesco anche aggiungere qualche indicazione di baseline (sullo stile di quello che si faceva in passato con la soglia "sotto i 30 fps non è più fluida la riproduzione), ma devo ancora sperimentare cosa e come.

Per il punto 3 stavo pensando che usare semplicemente la varianza (o la deviazione standard che forse è un pochino più comune) darebbe valori poco confrontabili su giochi diversi, in quanto nel singolo gioco è ovvio che sia sempre presente una certa varianza a causa delle variazioni nella complessità dei calcoli fatti dalla scheda video, variazioni che saranno percentualmente diverse da gioco a gioco, quindi da quei dati si potrebbe solo dire "in questo gioco questa scheda video si comporta meglio, quest'altra meno etc...", se però si facesse qualcosa di leggermente più complicato forse si otterrebbero valori più universali: la varianza della differenza fra il grafico del frametime e quello degli FPS (che alla fine è praticamente il grafico del frametime con valori mediati ogni secondo e con un diverso asse delle ascisse). Così si avrebbe che con ogni gioco un valore di varianza pari a zero sarebbe ideale (nell'ipotesi che il grafico degli FPS non mostri variazioni eccessive, ma non capita praticamente mai), e valori maggiori sarebbero confrontabili anche su giochi diverse e quindi si potrebbe anche dire "il gioco x è più soggetto a stuttering del gioco y con tutto l'hardware considerato".

Edit: probabile che in statistica esista già una funzione di questo tipo, ma non essendo ferrato in materia non so quale sia.

nell'analisi dei segnali.

maneggiando con alcuni dati cercavo di rendere piu' visibili le macrodifferenze tra' il tempo di generazione dei singoli frame.
per fare questo tipo di analisi ci sono diverse strade:
una e' quella di generare diversi report della stessa analisi, e rapportarli tra' di loro, eliminando le minime differenze ed incrementando le macrodifferenze tra' i tempi di generazione dei singoli frame, interpolando i risultati tra' le diverse analisi dello stesso frangente.

e' complicato da descrivere, ma in pratica, lo scopo e' di enfatizzare le differenze delle singole generazioni di frame tra' quelle limitrofe.
matematicamente si fa' con il teorema di fourier; giusto per far capire graficamente cosa si ottiene vi rimando a questo grafico NMR: http://www.mhhe.com/physsci/chemistry/carey/student/olc/graphics/carey04oc/ch13/figures/nmr2.gif
e' la risultanza di una fourier su un numero (su potenza di 2, ossia 4/16/32/64) di acquisizioni singole da dover interpolare, ed i picchi sono le valenze maggiori enfatizzate (in rapporto al valore effettivo ed alle altre valenze); in pratica i picchi mostrano dove c'e' una maggiore differenza sul valore piu' ripetitivo (che e' il livello zero
+rumore).

operando in questo tipo di analisi verrebbero mostrate le differenze piu' rilevanti.

ora, applicare una fourier non e' facile, anche perche' richiederebbe piu' test della stessa natura sullo stesso minuto (almeno 16, e il dover generare un algoritmo adatto), quindi si puo' procedere effettuando enfasi e mitigazioni del segnale sugli intorni vicini del singolo valore.
il risultato pero' potrebbe forviare.
dall'analisi che ho effettuato si nota in modo evidente una ripetizione piu' o meno a frequenza regolare della difficolta' delle varie schede nel generare i frame, perche' le schede video non fanno solo quello.
nella pratica si deduce in maniera chiara che molti rallentamenti sono dovuti essenzialmente al load delle texture, ossia a quanta ram e' disponibile per queste, valore che varia a seconda del drive utilizzato e a seconda di come quest'ultimo opera (rapido reload ad alta frequenza con poca ram in modo da diminuire l'impatto sulle prestazioni grafiche, o uso di tutta la ram disponibile contando sulla minimizzazione dell'impatto negativo del reload massiccio grazie alla velocita' stessa della ram e della GPU, se in configurazione a singola GPU o a doppia GPU)...

ecco... diventa difficile sia effettuare un'analisi competente sia descriverla sia coprenderla...

in piu', come gia' detto, quello che succede sulle pipeline non e' quello che poi viene mostrato a video; ecco perche' nvidia analizza i sistemi in quel modo (ottimizzando, nella maggior parte dei casi, a mia supposizione, la frequenza e la consistenza del reload).

cioe', e' un massiccio lavoro che poi apprezzerebbero 2 o 3 persone... un po' troppo lavoro per solo 3 o 4 persone.

la soluzione:
la redazione puo' esclusivamente rilasciare in licenza i dati grezzi, poi uno se li elabora come vuole...
ma... rendiamoci conto di che cosa si sta' chiedendo!|

Uppo la discussione perchè a distanza di mesi non sono ancora molto convinto dell'utilità di questa metodologia di analisi per il pubblico.

Mi spiego meglio, leggendo i commenti alle recensioni in molti si lamentano della scarsa comprensibilità dei dati se mancano i grafici sul dato medio. Secondo me hanno ragione.

Questo approccio filosofico del particolare a scapito del generale è inutile se il comportamento delle schede è simile. E infatti il comportamento delle schede single GPU è talmente simile da rendere incomprensibili, sovrapposti e ridondanti i grafici. Oltretutto andando sempre più nello specifico si registrano eventi collegati anche al resto della configurazione, cosa che rende i dati ancora meno generalizzabili. Temo inoltre che nella maggior parte dei casi si stia parlando di differenze scarsamente percepibili nell'esperienza di gioco soggettiva (in questo senso trovo molto interessante l'esperimento fatto qui:http://www.tomshw.it/cont/articolo/radeon-hd-7990-contro-geforce-gtx-690-parola-ai-videogiocatori/49403/1.html mi domandavo se fosse possibile per voi fare qualcosa di simile).

Per tutto questo lascerei l'analisi del FCAT solo per le dual GPU, multi GPU e in caso di problemi palesi, o al massimo per giochi pesanti (sono questi i casi in cui si nota qualche differenza nel particolare). Non vedo ragione per impegnare la redazione in grafici lunghi e complessi che poi vengono saltati dalla maggioranza dei lettori.

Se volete tenere l'analisi, perchè è un po' la moda del momento, potreste introdurre la variazione percentuale come fanno altre recensioni:

http://www.tomshw.it/files/2013/10/immagini_contenuti/49765/crysis-1920-ftv_t.png

chiedo perdono se cito la concorrenza ma era per farsi capire, questo perlomeno è un dato immediato.

Ciao

rispondo punto per punto; grazie innanzitutto per il post perchè porti a fare delle riflessioni interessanti e c'è sempre da imparare nel confronto.

Uppo la discussione perchè a distanza di mesi non sono ancora molto convinto dell'utilità di questa metodologia di analisi per il pubblico.

Mi spiego meglio, leggendo i commenti alle recensioni in molti si lamentano della scarsa comprensibilità dei dati se mancano i grafici sul dato medio. Secondo me hanno ragione.

Ciao

premesso che nei due articoli che usciranno settimana prossima riproporrò anche i dati del frame rate medio (nell'ultimo non mi è stato possibile farlo per tempo, ma questa è altra questione), io credo che i dati siano comprensibili ma che richiedano più tempo per l'analisi di chi legge rispetto al dato medio. Del resto questi grafici dicono molto di più di quanto non dica l'indicazione di un frame rate medio e di uno minimo su una scena di un tot di secondi di durata.

Questo approccio filosofico del particolare a scapito del generale è inutile se il comportamento delle schede è simile.

Penso sia esattamente l'opposto: il frame rate medio di una scena è un dato assolutamente particolare. In quanto dato medio su un lasso di tempo mediamente lungo non fornisce alcuna informazione generale su quale sia il comportamento della scheda ma solo un dato che di fatto è sui generis.
50 fps su una scheda in una sessione di 120 secondi di durata possono voler dire 50 frames al secondo costanti su ogni secondo dei 120 monitorati, oppure 90 sui primi 60 secondi e 20 sui restanti 60 secondi. Banale dire che il quadro cambia radicalmente, ma con una indicazione di soli 50 fps medi questo dettaglio si perde.

Se aggiungiamo il grafico dell'andamento dei frames al secondo per ogni secondo della rilevazione allora il livello di dettaglio sale radicalmente, ma a questo punto perchè non passare a vedere cosa succede all'interno del secondo per verificare la presenza di microstuttering? Da questo le analisi sul frame time, prima con fraps e in seguito con FCAT.

E infatti il comportamento delle schede single GPU è talmente simile da rendere incomprensibili, sovrapposti e ridondanti i grafici.

Tu sai che il comportamento è simile proprio grazie a quei dati, non per il valore del frame rate medio. Nascono però dei problemi di lettura dei grafici ed è per questo motivo che ho optato per inserire grafici singoli per ogni scheda, e un grafico cumulato solo con le schede direttamente concorrenti in funzione dell'articolo.

Oltretutto andando sempre più nello specifico si registrano eventi collegati anche al resto della configurazione, cosa che rende i dati ancora meno generalizzabili.

Non capisco nello specifico a cosa tu ti riferisca: mi puoi fare qualche esempio pratico?

Temo inoltre che nella maggior parte dei casi si stia parlando di differenze scarsamente percepibili nell'esperienza di gioco soggettiva (in questo senso trovo molto interessante l'esperimento fatto qui:http://www.tomshw.it/cont/articolo/radeon-hd-7990-contro-geforce-gtx-690-parola-ai-videogiocatori/49403/1.html mi domandavo se fosse possibile per voi fare qualcosa di simile).

Mi piace, se posso, cercare di essere il più oggettivo possibile in una analisi e credo che con le schede video questo sia ancora possibile. Chiamalo approccio più scientifico e meno sull'esperienza, ma a mio avviso gli strumenti ci sono per dare un riscontro che sia univoco. I confronti di quel tipo sono interessanti ma c'è troppa variabile soggettiva che a mio avviso non aiuta, e i dati emersi da quell'articolo del resto sono pienamente allineati a quello che puoi far emergere dai dati strumentali.

Per tutto questo lascerei l'analisi del FCAT solo per le dual GPU, multi GPU e in caso di problemi palesi, o al massimo per giochi pesanti (sono questi i casi in cui si nota qualche differenza nel particolare). Non vedo ragione per impegnare la redazione in grafici lunghi e complessi che poi vengono saltati dalla maggioranza dei lettori.

Io invece, ed essendo colui che si spara le ore in laboratorio a testare VGA lo dico forse contro il mio interesse, credo che questo tipo di analisi abbia molto senso. Vedo però che chi ha sistemi FCAT ha optato per un approccio light, adottando dati con frame rate medi al secondo e ogni tanto usando il frame time. Questo approccio è a mio avviso quanto di più sbagliato si possa fare ora: se pensi che sia l'analisi del frame time l'approccio corretto per sviscerare il comportamento di una scheda video e dare un giudizio finale al tuo lettore lo usi sempre, anche se richiede tempo e fatica, perchè fornisci un servizio migliore a chi ti legge. Che io analizzi una scheda video non è in ultima analisi per me, ma per fornire a chi mi legge un prodotto editoriale spero di qualità che lo possa aiutare nelle proprie decisioni di scelta.
Da queste analisi io ricavo le conclusioni e le raccomandazioni di acquisto: uno può prenderle per oro colato oppure può pensare il contrario di quello che io scrivo ma i dati che indico sono oggettivi e sono la base per giungere a quelle conclusioni.

Se volete tenere l'analisi, perchè è un po' la moda del momento,
non mi pare sia tanto la moda, proprio perchè non è di semplice implementazione. A quel che mi risulta Tech Report analizza tutto con frame time, idem noi e PC Perspective. Tutti gli altri che hanno strumentazione per eseguire FCAT usano frame time solo in parte, in alcuni casi senza lasciar facilmente intendere se per le rilevazioni medie si utilizzi sempre un approccio con FCAT (quindi scartando frames dropped e runt) oppure se con benchmark integrati.
A me piace tanto, per mia fortuna, testare schede video e nuove architetture e sono convinto dei benefici dell'analisi del frame time per chi mi legge ma credimi quando ti dico che sarebbe molto più semplice per il mio tempo di lavoro fare analisi con i benchmark integrati e i frames al secondo medi. Mi carico di tanto lavoro in più perché credo che questo sia la strada giusta per il fine che ho, che è quello di informare al meglio chi mi legge.

potreste introdurre la variazione percentuale come fanno altre recensioni:

http://www.tomshw.it/files/2013/10/immagini_contenuti/49765/crysis-1920-ftv_t.png

chiedo perdono se cito la concorrenza ma era per farsi capire, questo perlomeno è un dato immediato.

Ho già visto utilizzato quel grafico ma francamente lo trovo poco leggibile, soprattutto nell'ottica dell'utente che è meno esperto (o meno desideroso di perdere una volta 10 minuti di tempo per capire come funzionino le analisi del frame time). Quello che si riporta è, se ben intendo, il margine di variazione dei frames in millisecondi, quindi con ottica di lettura opposta rispetto al frame time con indicazione del frame rate istantaneo che usiamo qui, oltre al dato rilevato al 95-esimo percentile. Vedendo questo grafico senza approfondire se ne ricava, a mio avviso, che
1) la R9 290X è drammaticamnte più lebta della HD 7970 GHz Edition sia come media sia al 95-esimo percentile
2) che una scheda ha una variazione del frame time più o meno elevata rispetto alle altre schede, ma non sappiamo se ci sia un limite oltre il quale tale variazione ha impatti sulle prestazioni velocistiche visibili agli occhi degli utenti.

La seconda osservazione è molto importante: se una scheda ha variazione doppia rispetto alle altre in termini assoluti, ma questo si verifica con un frame time sempre ben superiore ad una soglia di 100 frames al secondo istantanei, allora il comportamento sarà preferibile come risultato a video rispetto ad una scheda con metà della variazione ma un frame time che è nell'ordine dei 40 al secondo istantanei implica che l'utente avrà un comportamento a video con presumibilmente un po' di stuttering.

A mio avviso preso da solo quel dato può essere fuorviante, e soprattutto senza avere un riferimento su quale sia il frame time oltre ad una indicazione di quale possa essere un valore di varianza accettabile (alla stregua dei 50-60 frames al secondo medi che assicurano la fluidità di una scena).

Nascono però dei problemi di lettura dei grafici ed è per questo motivo che ho optato per inserire grafici singoli per ogni scheda, e un grafico cumulato solo con le schede direttamente concorrenti in funzione dell'articolo.
Secondo me la leggibilità dei nuovi grafici è un punto cruciale: non solo sono più difficili da interpretare (ovvio, trattano la questione in modo più complesso), ma sono anche più difficili da leggere, il che scoraggia gran parte dell'utenza.

Secondo me il problema si risolve, almeno parzialmente, puntando sulla "tecnologia" del sito che mostra le informazioni.
Dei grafici in cui l'utente sceglie i dati di quali schede visualizzare e in quale ordine di sovrapposizione possono fare davvero molto. Ci sarebbe naturalmente una visualizzazione di "default" che però l'utente può modificare alla bisogna.

Per quanto riguarda il grafico degli FPS medi, secondo me serve ancora. Non da solo, ma nel contesto.
Io per esempio vedo due schede che producono più o meno gli stessi FPS, ma uno, osservando gli altri grafici, risulta produrli in maniera più uniforme e giudico questa migliore.
Insomma, un grafico integrativo e non uno da cui trarre un giudizio definitivo.

Tale grafico però sarebbe bene riportasse più dati possibile, per esempio i frame medi "bruti" e quelli riconteggiati tenendo conto dei frame drop e runt (anche se io continuo a nutrire seri dubbi sulle soglie utilizzate).
Si potrebbe anche valutare di non considerare i frame dei primi e degli ultimi secondi, che talvolta falsano un po' il grafico dei minimi e massimi.

....
Per quanto riguarda il grafico degli FPS medi, secondo me serve ancora. Non da solo, ma nel contesto.
Io per esempio vedo due schede che producono più o meno gli stessi FPS, ma uno, osservando gli altri grafici, risulta produrli in maniera più uniforme e giudico questa migliore.
Insomma, un grafico integrativo e non uno da cui trarre un giudizio definitivo.

Tale grafico però sarebbe bene riportasse più dati possibile, per esempio i frame medi "bruti" e quelli riconteggiati tenendo conto dei frame drop e runt (anche se io continuo a nutrire seri dubbi sulle soglie utilizzate).
Si potrebbe anche valutare di non considerare i frame dei primi e degli ultimi secondi, che talvolta falsano un po' il grafico dei minimi e massimi.

Ciao,
guarda che questo grafico c'è sempre stato; quello che ho fatto con l'ultimo articolo pubblicato, la Radeon R9 290X, è stato inserire grafici indipendenti per ciascuna scheda con indicazione di eventuali frame drop e runt presenti. Quello che non avevo messo era un grafico che indicasse frame rate medio e frame rate minimo di ogni scheda, ma ritorna con le prossime due recensioni assieme ad una nuova riproposizione del frame rate medio di tutta la scena di benchmarking.

Circa la prima indicazione che riporti, sarebbe interessante ma credimi non è tecnicamente semplice. Considera che il prossimo articolo è composto da poco meno di 300 grafici distinti, considerando 12 schede e 7 titoli analizzati

Ciao, guarda che questo grafico c'è sempre stato;
Ciao,
Io intendevo il classico grafico a barre.
L'ideale sarebbe che riportasse sia frame medi che minimi, sia con o senza drop e runt conteggiati (in pratica 4 valori distinti per ogni scheda ad ogni risoluzione testa).

Circa la prima indicazione che riporti, sarebbe interessante ma credimi non è tecnicamente semplice. Considera che il prossimo articolo è composto da poco meno di 300 grafici distinti, considerando 12 schede e 7 titoli analizzati
Beh, spero che i grafici non li facciate a mano, ma che venga fatto tutto in automatico inserendo i dati.
Una volta inseriti i dati, cioè, potete fare tutti i grafici che volete con quelli, se ne deve occupare il software.

Risulta fondamentale la possibilità del lettore di interagire e poter lui visualizzare i grafici per le schede che gli interessano.

Ciao,
Io intendevo il classico grafico a barre.
L'ideale sarebbe che riportasse sia frame medi che minimi, sia con o senza drop e runt conteggiati (in pratica 4 valori distinti per ogni scheda ad ogni risoluzione testa).


Beh, spero che i grafici non li facciate a mano, ma che venga fatto tutto in automatico inserendo i dati.
Una volta inseriti i dati, cioè, potete fare tutti i grafici che volete con quelli, se ne deve occupare il software.

Risulta fondamentale la possibilità del lettore di interagire e poter lui visualizzare i grafici per le schede che gli interessano.

Per il grafico a barre intendi quello del frame rate medio di tutta la scena; ho spiegato prima che quel grafico ritorna con i prossimi articoli, ma di tutto il lavoro che viene fatto è questo il dato assolutamente meno significativo. Il grafico conterrà solo i dati degli fps medi depurati da eventuali frame drop o runt, che potrai vedere nel grafico seguente che riporta l'andamento del frame rate per ogni secondo di rilevazione della scena usata nello specifico gioco.

Tutti i grafici che hai visto nelle precedenti recensioni, fatta eccezione per l'ultima, sono sempre stati fatti uno per uno "a mano". Nell'ultima recensione ho usato solo grafici generati in automatico con i tool FCAT, customizzando parecchie cose (i file sono generati da script in perl). Nei prossimi articoli ci sarà un mix tra grafici fatti custom da me e grafici generati in automatico, con script sempre customizzati

Penso sia esattamente l'opposto: il frame rate medio di una scena è un dato assolutamente particolare. In quanto dato medio su un lasso di tempo mediamente lungo non fornisce alcuna informazione generale su quale sia il comportamento della scheda ma solo un dato che di fatto è sui generis.
50 fps su una scheda in una sessione di 120 secondi di durata possono voler dire 50 frames al secondo costanti su ogni secondo dei 120 monitorati, oppure 90 sui primi 60 secondi e 20 sui restanti 60 secondi. Banale dire che il quadro cambia radicalmente, ma con una indicazione di soli 50 fps medi questo dettaglio si perde.

Non sono d'accordo (e nemmeno la statistica lo sarebbe), nel senso che la media è il dato generale mentre l'analisi della distribuzione è un dato che ti costringe a considerare ogni singolo elemento, quindi è un analisi del particolare.

Il motivo per l'introduzione della nuova metodologia mi è chiaro, tuttavia credo sia superfluo in molte condizioni. Siccome si ha a che fare con una notevole mole di dati il valore medio è quello che restituisce nel modo più efficace il riassunto della situazione, che nel mondo reale del videogiocatore è fatto di minuti (se non ore) di gioco. Proprio perchè è un dato di approssimazione descrive al meglio le macro-caratteristiche ed è più generalizzabile ad altri sistemi di prova.

Il valore medio, se vogliamo accompagnato ad un valore minimo, contiene già la maggior parte delle informazioni per capire se una scheda è più veloce di un'altra, col vantaggio dell'immediatezza.
Le variazioni e gli errori dei dati interni alla distribuzione si correggono e bilanciano da sole poichè le GPU hanno un comportamento simile (essendo processori di calcolo), salvo i casi particolari (che generano valori Outlier) che sono generati da errori nei driver e/o nella gestione del Multi-GPU (interno/esterno).

Andare a cercare ogni volta tutti i valore della distribuzione diventa ridondante e proibitivo per la maggioranza degli utenti. Per capirci dai vari grafici sei comunque costretto a fare un confronto "a vista" e un valore medio "a mente". E' anche il motivo per cui in tutte le analisi statistiche si usa la Media per descrivere un insieme di dati, prima di qualsiasi altra cosa.


Se aggiungiamo il grafico dell'andamento dei frames al secondo per ogni secondo della rilevazione allora il livello di dettaglio sale radicalmente, ma a questo punto perchè non passare a vedere cosa succede all'interno del secondo per verificare la presenza di microstuttering? Da questo le analisi sul frame time, prima con fraps e in seguito con FCAT.

Perchè forse il microstuttering non è percepibile dai giocatori nella stragrande maggioranza dei casi, per cui quel dato alla fine è utile solo agli smanettoni. L'analisi del microstuttering può essere valida per il multi gpu ma per il resto è un lavoro extra.


Tu sai che il comportamento è simile proprio grazie a quei dati, non per il valore del frame rate medio.

Una volta scoperto si può anche tornare più che serenamente al valor medio senza preoccuparsi di valori outlier che inficiano l'approssimazione, perchè in pratica non ci sono quasi mai.


Non capisco nello specifico a cosa tu ti riferisca: mi puoi fare qualche esempio pratico?

Andando ad analizzare il singolo valore si rischia di registrare eventi dipendenti e correlati ad HDD/SSD o di una CPU, Scheda madre, delle Ram o di altri componenti del PC, un tempo morto magari non ripetibile, un dato di cui non sapevi l'esistenza perchè era assorbito nel valore medio ma che ora ti tormenta, a torto.



Mi piace, se posso, cercare di essere il più oggettivo possibile in una analisi e credo che con le schede video questo sia ancora possibile. Chiamalo approccio più scientifico e meno sull'esperienza, ma a mio avviso gli strumenti ci sono per dare un riscontro che sia univoco. I confronti di quel tipo sono interessanti ma c'è troppa variabile soggettiva che a mio avviso non aiuta, e i dati emersi da quell'articolo del resto sono pienamente allineati a quello che puoi far emergere dai dati strumentali.

Io invece, ed essendo colui che si spara le ore in laboratorio a testare VGA lo dico forse contro il mio interesse, credo che questo tipo di analisi abbia molto senso. Vedo però che chi ha sistemi FCAT ha optato per un approccio light, adottando dati con frame rate medi al secondo e ogni tanto usando il frame time. Questo approccio è a mio avviso quanto di più sbagliato si possa fare ora: se pensi che sia l'analisi del frame time l'approccio corretto per sviscerare il comportamento di una scheda video e dare un giudizio finale al tuo lettore lo usi sempre, anche se richiede tempo e fatica, perchè fornisci un servizio migliore a chi ti legge. Che io analizzi una scheda video non è in ultima analisi per me, ma per fornire a chi mi legge un prodotto editoriale spero di qualità che lo possa aiutare nelle proprie decisioni di scelta.
Da queste analisi io ricavo le conclusioni e le raccomandazioni di acquisto: uno può prenderle per oro colato oppure può pensare il contrario di quello che io scrivo ma i dati che indico sono oggettivi e sono la base per giungere a quelle conclusioni.


non mi pare sia tanto la moda, proprio perchè non è di semplice implementazione. A quel che mi risulta Tech Report analizza tutto con frame time, idem noi e PC Perspective. Tutti gli altri che hanno strumentazione per eseguire FCAT usano frame time solo in parte, in alcuni casi senza lasciar facilmente intendere se per le rilevazioni medie si utilizzi sempre un approccio con FCAT (quindi scartando frames dropped e runt) oppure se con benchmark integrati.
A me piace tanto, per mia fortuna, testare schede video e nuove architetture e sono convinto dei benefici dell'analisi del frame time per chi mi legge ma credimi quando ti dico che sarebbe molto più semplice per il mio tempo di lavoro fare analisi con i benchmark integrati e i frames al secondo medi. Mi carico di tanto lavoro in più perché credo che questo sia la strada giusta per il fine che ho, che è quello di informare al meglio chi mi legge.

Infatti io vedo tanto lavoro, ammirevole ma in fondo poco fruibile.

C'è sempre un certo rischio nella spinta allla ricerca dell'obbiettività a tutti i costi, ci si può ritrovare con un dato scientifico perfetto ma con scarsa utilità e ancor più rischioso si può perdere il senso di quello che si stava facendo. Ecco perchè ho detto che è una moda, serve per testare le nuove tecnologie ma forse non è fondamentale. Se stessimo parlando di variabili psicologiche o soggettive un analisi del genere avrebbe sicuramente ragion d'essere ma dato che parliamo di FPS...



Ho già visto utilizzato quel grafico ma francamente lo trovo poco leggibile, soprattutto nell'ottica dell'utente che è meno esperto (o meno desideroso di perdere una volta 10 minuti di tempo per capire come funzionino le analisi del frame time). Quello che si riporta è, se ben intendo, il margine di variazione dei frames in millisecondi, quindi con ottica di lettura opposta rispetto al frame time con indicazione del frame rate istantaneo che usiamo qui, oltre al dato rilevato al 95-esimo percentile. Vedendo questo grafico senza approfondire se ne ricava, a mio avviso, che
1) la R9 290X è drammaticamnte più lebta della HD 7970 GHz Edition sia come media sia al 95-esimo percentile
2) che una scheda ha una variazione del frame time più o meno elevata rispetto alle altre schede, ma non sappiamo se ci sia un limite oltre il quale tale variazione ha impatti sulle prestazioni velocistiche visibili agli occhi degli utenti.

La seconda osservazione è molto importante: se una scheda ha variazione doppia rispetto alle altre in termini assoluti, ma questo si verifica con un frame time sempre ben superiore ad una soglia di 100 frames al secondo istantanei, allora il comportamento sarà preferibile come risultato a video rispetto ad una scheda con metà della variazione ma un frame time che è nell'ordine dei 40 al secondo istantanei implica che l'utente avrà un comportamento a video con presumibilmente un po' di stuttering.

A mio avviso preso da solo quel dato può essere fuorviante, e soprattutto senza avere un riferimento su quale sia il frame time oltre ad una indicazione di quale possa essere un valore di varianza accettabile (alla stregua dei 50-60 frames al secondo medi che assicurano la fluidità di una scena).

A me non sembra illeggibile, se ho capito bene quel grafico dice quanto è mediamente stabile nei framerate una scheda video, se è 0 è perfetta se invece ha certe percentuali è più instabile. Ma il problema è che cambiando giochi la situazione si può anche ribaltare per cui alla fine anche questo dato se non è mediato è poco fruibile.

Comunque sono intervenuto non per mettere in dubbio in toto il lavoro della redazione, avere informazioni in più è sempre un valore aggiunto anche se in pochi sono in grado di apprezzarlo (tra l'altro io mi metto paradossalmente fra questi). Però credo che questo approccio sia diventato ridondante oltre che problematico per la comprensione dei non esperti, la vedrei bene come analisi aggiuntiva da fare una tantum. In sintesi secondo me, ma anche leggendo alcuni commenti in giro l'apporto di informazioni che porta in più non vale la fatica che fate, ma questo giustamente sta a voi deciderlo.

Era doveroso fare da avvocato del diavolo.

Grazie della risposta

Ciao

innanzitutto grazie per la risposta. Le considerazioni che fai sono più che condivisibili; il mio fine è essere da un lato completo nell'analisi, dall'altro comprensibile anche a chi non è particolarmente esperto. Prova a guardare quanto ho fatto oggi nel pezzo sulla R9 290: non sono ancora giunto al 100% a quello che vorrei ma la distanza inizia a ridursi pezzo dopo pezzo

Sì ho visto, molto meglio.