Un nuovo approccio ai test delle schede video

[maumau138]

Originariamente inviato da Paolo Corsini

Sto leggendo i commenti e cerco di rispondere uno ad uno. Parto però con una prima domanda: sarebbe preferibile, per questo tipo di grafico



non inserire i dati come tempo di elaborazione in millisecondi ma come frames al secondo? Questo peermetterebbe di disegnare lo stesso tipo di grafico, ma con linee più "alte" che equivalgono a prestazioni superiori. Mi sono domandato se la cosa fosse utile durante la scrittura dell'articolo sulla radeon HD 7990 ma non ho fatto in tempo a sviluppare la cosa.

Ovviamente stessa considerazione per il grafico della distribuzione percentile qui sopra riportato.

Visto che siamo abituati a vedere i fps, forse ribaltare il grafico agevolerebbe nella lettura. Io personalmente tendo ad invertire il tempo per ottenere la frequenza, appunto per lavorare con numeretti che mi sono più familiari.

Un piccolo appunto, ho notato, specialmente nella recensione della 7990 che i grafici delle Radeon vengono visualizzati "sopra" quelli delle altre schede, e visto che questi sono altamente ballerini si ha che la macchia di colore rosso (o giallo) copre i grafici delle altre schede. Forse sarebbe meglio tenere in primo piano i grafici più regolari, e sullo sfondo quelli più irregolari in modo da riuscire a visualizzare meglio il tutto.

Ho poi ragionato un poco su quello che proponeva frankie, forse inserire anche due o tre dati, ad esempio scarto e varianza (calcolabili facilmente), potrebbe dare un'altra misura (forse anche più immediata) di come si comporta la scheda.

[Paolo Corsini]

Grazie degli spunti; ho in mente di provare per il prossimo articolo a
1) mettere i grafici del frame time in fps e non in ms
2) gestire meglio i grafici del frame time, soprattutto con più schede, facendo in modo che i diversi andamenti siano più facilmente distinguibili
3) inserire qualche analisi della varianza dei dati

Oltre a questo, se riesco anche aggiungere qualche indicazione di baseline (sullo stile di quello che si faceva in passato con la soglia "sotto i 30 fps non è più fluida la riproduzione), ma devo ancora sperimentare cosa e come.

[dav1deser]

Originariamente inviato da Paolo Corsini

Grazie degli spunti; ho in mente di provare per il prossimo articolo a
1) mettere i grafici del frame time in fps e non in ms
2) gestire meglio i grafici del frame time, soprattutto con più schede, facendo in modo che i diversi andamenti siano più facilmente distinguibili
3) inserire qualche analisi della varianza dei dati

Oltre a questo, se riesco anche aggiungere qualche indicazione di baseline (sullo stile di quello che si faceva in passato con la soglia "sotto i 30 fps non è più fluida la riproduzione), ma devo ancora sperimentare cosa e come.

Per il punto 3 stavo pensando che usare semplicemente la varianza (o la deviazione standard che forse è un pochino più comune) darebbe valori poco confrontabili su giochi diversi, in quanto nel singolo gioco è ovvio che sia sempre presente una certa varianza a causa delle variazioni nella complessità dei calcoli fatti dalla scheda video, variazioni che saranno percentualmente diverse da gioco a gioco, quindi da quei dati si potrebbe solo dire "in questo gioco questa scheda video si comporta meglio, quest'altra meno etc...", se però si facesse qualcosa di leggermente più complicato forse si otterrebbero valori più universali: la varianza della differenza fra il grafico del frametime e quello degli FPS (che alla fine è praticamente il grafico del frametime con valori mediati ogni secondo e con un diverso asse delle ascisse). Così si avrebbe che con ogni gioco un valore di varianza pari a zero sarebbe ideale (nell'ipotesi che il grafico degli FPS non mostri variazioni eccessive, ma non capita praticamente mai), e valori maggiori sarebbero confrontabili anche su giochi diverse e quindi si potrebbe anche dire "il gioco x è più soggetto a stuttering del gioco y con tutto l'hardware considerato".

Edit: probabile che in statistica esista già una funzione di questo tipo, ma non essendo ferrato in materia non so quale sia.

[lucusta]

nell'analisi dei segnali.

maneggiando con alcuni dati cercavo di rendere piu' visibili le macrodifferenze tra' il tempo di generazione dei singoli frame.
per fare questo tipo di analisi ci sono diverse strade:
una e' quella di generare diversi report della stessa analisi, e rapportarli tra' di loro, eliminando le minime differenze ed incrementando le macrodifferenze tra' i tempi di generazione dei singoli frame, interpolando i risultati tra' le diverse analisi dello stesso frangente.

e' complicato da descrivere, ma in pratica, lo scopo e' di enfatizzare le differenze delle singole generazioni di frame tra' quelle limitrofe.
matematicamente si fa' con il teorema di fourier; giusto per far capire graficamente cosa si ottiene vi rimando a questo grafico NMR: http://www.mhhe.com/physsci/chemistr...gures/nmr2.gif
e' la risultanza di una fourier su un numero (su potenza di 2, ossia 4/16/32/64) di acquisizioni singole da dover interpolare, ed i picchi sono le valenze maggiori enfatizzate (in rapporto al valore effettivo ed alle altre valenze); in pratica i picchi mostrano dove c'e' una maggiore differenza sul valore piu' ripetitivo (che e' il livello zero
+rumore).

operando in questo tipo di analisi verrebbero mostrate le differenze piu' rilevanti.

ora, applicare una fourier non e' facile, anche perche' richiederebbe piu' test della stessa natura sullo stesso minuto (almeno 16, e il dover generare un algoritmo adatto), quindi si puo' procedere effettuando enfasi e mitigazioni del segnale sugli intorni vicini del singolo valore.
il risultato pero' potrebbe forviare.
dall'analisi che ho effettuato si nota in modo evidente una ripetizione piu' o meno a frequenza regolare della difficolta' delle varie schede nel generare i frame, perche' le schede video non fanno solo quello.
nella pratica si deduce in maniera chiara che molti rallentamenti sono dovuti essenzialmente al load delle texture, ossia a quanta ram e' disponibile per queste, valore che varia a seconda del drive utilizzato e a seconda di come quest'ultimo opera (rapido reload ad alta frequenza con poca ram in modo da diminuire l'impatto sulle prestazioni grafiche, o uso di tutta la ram disponibile contando sulla minimizzazione dell'impatto negativo del reload massiccio grazie alla velocita' stessa della ram e della GPU, se in configurazione a singola GPU o a doppia GPU)...

ecco... diventa difficile sia effettuare un'analisi competente sia descriverla sia coprenderla...

in piu', come gia' detto, quello che succede sulle pipeline non e' quello che poi viene mostrato a video; ecco perche' nvidia analizza i sistemi in quel modo (ottimizzando, nella maggior parte dei casi, a mia supposizione, la frequenza e la consistenza del reload).

cioe', e' un massiccio lavoro che poi apprezzerebbero 2 o 3 persone... un po' troppo lavoro per solo 3 o 4 persone.

la soluzione:
la redazione puo' esclusivamente rilasciare in licenza i dati grezzi, poi uno se li elabora come vuole...
ma... rendiamoci conto di che cosa si sta' chiedendo!|

[Kharonte85]

Uppo la discussione perchè a distanza di mesi non sono ancora molto convinto dell'utilità di questa metodologia di analisi per il pubblico.

Mi spiego meglio, leggendo i commenti alle recensioni in molti si lamentano della scarsa comprensibilità dei dati se mancano i grafici sul dato medio. Secondo me hanno ragione.

Questo approccio filosofico del particolare a scapito del generale è inutile se il comportamento delle schede è simile. E infatti il comportamento delle schede single GPU è talmente simile da rendere incomprensibili, sovrapposti e ridondanti i grafici. Oltretutto andando sempre più nello specifico si registrano eventi collegati anche al resto della configurazione, cosa che rende i dati ancora meno generalizzabili. Temo inoltre che nella maggior parte dei casi si stia parlando di differenze scarsamente percepibili nell'esperienza di gioco soggettiva (in questo senso trovo molto interessante l'esperimento fatto qui:http://www.tomshw.it/cont/articolo/r...i/49403/1.html mi domandavo se fosse possibile per voi fare qualcosa di simile).

Per tutto questo lascerei l'analisi del FCAT solo per le dual GPU, multi GPU e in caso di problemi palesi, o al massimo per giochi pesanti (sono questi i casi in cui si nota qualche differenza nel particolare). Non vedo ragione per impegnare la redazione in grafici lunghi e complessi che poi vengono saltati dalla maggioranza dei lettori.

Se volete tenere l'analisi, perchè è un po' la moda del momento, potreste introdurre la variazione percentuale come fanno altre recensioni:



chiedo perdono se cito la concorrenza ma era per farsi capire, questo perlomeno è un dato immediato.

[Paolo Corsini]

Ciao

rispondo punto per punto; grazie innanzitutto per il post perchè porti a fare delle riflessioni interessanti e c'è sempre da imparare nel confronto.

Originariamente inviato da Kharonte85

Uppo la discussione perchè a distanza di mesi non sono ancora molto convinto dell'utilità di questa metodologia di analisi per il pubblico.

Mi spiego meglio, leggendo i commenti alle recensioni in molti si lamentano della scarsa comprensibilità dei dati se mancano i grafici sul dato medio. Secondo me hanno ragione.

Ciao

premesso che nei due articoli che usciranno settimana prossima riproporrò anche i dati del frame rate medio (nell'ultimo non mi è stato possibile farlo per tempo, ma questa è altra questione), io credo che i dati siano comprensibili ma che richiedano più tempo per l'analisi di chi legge rispetto al dato medio. Del resto questi grafici dicono molto di più di quanto non dica l'indicazione di un frame rate medio e di uno minimo su una scena di un tot di secondi di durata.

Originariamente inviato da Kharonte85

Questo approccio filosofico del particolare a scapito del generale è inutile se il comportamento delle schede è simile.

Penso sia esattamente l'opposto: il frame rate medio di una scena è un dato assolutamente particolare. In quanto dato medio su un lasso di tempo mediamente lungo non fornisce alcuna informazione generale su quale sia il comportamento della scheda ma solo un dato che di fatto è sui generis.
50 fps su una scheda in una sessione di 120 secondi di durata possono voler dire 50 frames al secondo costanti su ogni secondo dei 120 monitorati, oppure 90 sui primi 60 secondi e 20 sui restanti 60 secondi. Banale dire che il quadro cambia radicalmente, ma con una indicazione di soli 50 fps medi questo dettaglio si perde.

Se aggiungiamo il grafico dell'andamento dei frames al secondo per ogni secondo della rilevazione allora il livello di dettaglio sale radicalmente, ma a questo punto perchè non passare a vedere cosa succede all'interno del secondo per verificare la presenza di microstuttering? Da questo le analisi sul frame time, prima con fraps e in seguito con FCAT.

Originariamente inviato da Kharonte85

E infatti il comportamento delle schede single GPU è talmente simile da rendere incomprensibili, sovrapposti e ridondanti i grafici.

Tu sai che il comportamento è simile proprio grazie a quei dati, non per il valore del frame rate medio. Nascono però dei problemi di lettura dei grafici ed è per questo motivo che ho optato per inserire grafici singoli per ogni scheda, e un grafico cumulato solo con le schede direttamente concorrenti in funzione dell'articolo.

Originariamente inviato da Kharonte85

Oltretutto andando sempre più nello specifico si registrano eventi collegati anche al resto della configurazione, cosa che rende i dati ancora meno generalizzabili.

Non capisco nello specifico a cosa tu ti riferisca: mi puoi fare qualche esempio pratico?

Originariamente inviato da Kharonte85

Temo inoltre che nella maggior parte dei casi si stia parlando di differenze scarsamente percepibili nell'esperienza di gioco soggettiva (in questo senso trovo molto interessante l'esperimento fatto qui:http://www.tomshw.it/cont/articolo/r...i/49403/1.html mi domandavo se fosse possibile per voi fare qualcosa di simile).

Mi piace, se posso, cercare di essere il più oggettivo possibile in una analisi e credo che con le schede video questo sia ancora possibile. Chiamalo approccio più scientifico e meno sull'esperienza, ma a mio avviso gli strumenti ci sono per dare un riscontro che sia univoco. I confronti di quel tipo sono interessanti ma c'è troppa variabile soggettiva che a mio avviso non aiuta, e i dati emersi da quell'articolo del resto sono pienamente allineati a quello che puoi far emergere dai dati strumentali.

Originariamente inviato da Kharonte85

Per tutto questo lascerei l'analisi del FCAT solo per le dual GPU, multi GPU e in caso di problemi palesi, o al massimo per giochi pesanti (sono questi i casi in cui si nota qualche differenza nel particolare). Non vedo ragione per impegnare la redazione in grafici lunghi e complessi che poi vengono saltati dalla maggioranza dei lettori.

Io invece, ed essendo colui che si spara le ore in laboratorio a testare VGA lo dico forse contro il mio interesse, credo che questo tipo di analisi abbia molto senso. Vedo però che chi ha sistemi FCAT ha optato per un approccio light, adottando dati con frame rate medi al secondo e ogni tanto usando il frame time. Questo approccio è a mio avviso quanto di più sbagliato si possa fare ora: se pensi che sia l'analisi del frame time l'approccio corretto per sviscerare il comportamento di una scheda video e dare un giudizio finale al tuo lettore lo usi sempre, anche se richiede tempo e fatica, perchè fornisci un servizio migliore a chi ti legge. Che io analizzi una scheda video non è in ultima analisi per me, ma per fornire a chi mi legge un prodotto editoriale spero di qualità che lo possa aiutare nelle proprie decisioni di scelta.
Da queste analisi io ricavo le conclusioni e le raccomandazioni di acquisto: uno può prenderle per oro colato oppure può pensare il contrario di quello che io scrivo ma i dati che indico sono oggettivi e sono la base per giungere a quelle conclusioni.

Originariamente inviato da Kharonte85

Se volete tenere l'analisi, perchè è un po' la moda del momento,

non mi pare sia tanto la moda, proprio perchè non è di semplice implementazione. A quel che mi risulta Tech Report analizza tutto con frame time, idem noi e PC Perspective. Tutti gli altri che hanno strumentazione per eseguire FCAT usano frame time solo in parte, in alcuni casi senza lasciar facilmente intendere se per le rilevazioni medie si utilizzi sempre un approccio con FCAT (quindi scartando frames dropped e runt) oppure se con benchmark integrati.
A me piace tanto, per mia fortuna, testare schede video e nuove architetture e sono convinto dei benefici dell'analisi del frame time per chi mi legge ma credimi quando ti dico che sarebbe molto più semplice per il mio tempo di lavoro fare analisi con i benchmark integrati e i frames al secondo medi. Mi carico di tanto lavoro in più perché credo che questo sia la strada giusta per il fine che ho, che è quello di informare al meglio chi mi legge.

Originariamente inviato da Kharonte85

potreste introdurre la variazione percentuale come fanno altre recensioni:



chiedo perdono se cito la concorrenza ma era per farsi capire, questo perlomeno è un dato immediato.

Ho già visto utilizzato quel grafico ma francamente lo trovo poco leggibile, soprattutto nell'ottica dell'utente che è meno esperto (o meno desideroso di perdere una volta 10 minuti di tempo per capire come funzionino le analisi del frame time). Quello che si riporta è, se ben intendo, il margine di variazione dei frames in millisecondi, quindi con ottica di lettura opposta rispetto al frame time con indicazione del frame rate istantaneo che usiamo qui, oltre al dato rilevato al 95-esimo percentile. Vedendo questo grafico senza approfondire se ne ricava, a mio avviso, che
1) la R9 290X è drammaticamnte più lebta della HD 7970 GHz Edition sia come media sia al 95-esimo percentile
2) che una scheda ha una variazione del frame time più o meno elevata rispetto alle altre schede, ma non sappiamo se ci sia un limite oltre il quale tale variazione ha impatti sulle prestazioni velocistiche visibili agli occhi degli utenti.

La seconda osservazione è molto importante: se una scheda ha variazione doppia rispetto alle altre in termini assoluti, ma questo si verifica con un frame time sempre ben superiore ad una soglia di 100 frames al secondo istantanei, allora il comportamento sarà preferibile come risultato a video rispetto ad una scheda con metà della variazione ma un frame time che è nell'ordine dei 40 al secondo istantanei implica che l'utente avrà un comportamento a video con presumibilmente un po' di stuttering.

A mio avviso preso da solo quel dato può essere fuorviante, e soprattutto senza avere un riferimento su quale sia il frame time oltre ad una indicazione di quale possa essere un valore di varianza accettabile (alla stregua dei 50-60 frames al secondo medi che assicurano la fluidità di una scena).

[calabar]

Originariamente inviato da Paolo Corsini

Nascono però dei problemi di lettura dei grafici ed è per questo motivo che ho optato per inserire grafici singoli per ogni scheda, e un grafico cumulato solo con le schede direttamente concorrenti in funzione dell'articolo.

Secondo me la leggibilità dei nuovi grafici è un punto cruciale: non solo sono più difficili da interpretare (ovvio, trattano la questione in modo più complesso), ma sono anche più difficili da leggere, il che scoraggia gran parte dell'utenza.

Secondo me il problema si risolve, almeno parzialmente, puntando sulla "tecnologia" del sito che mostra le informazioni.
Dei grafici in cui l'utente sceglie i dati di quali schede visualizzare e in quale ordine di sovrapposizione possono fare davvero molto. Ci sarebbe naturalmente una visualizzazione di "default" che però l'utente può modificare alla bisogna.

Per quanto riguarda il grafico degli FPS medi, secondo me serve ancora. Non da solo, ma nel contesto.
Io per esempio vedo due schede che producono più o meno gli stessi FPS, ma uno, osservando gli altri grafici, risulta produrli in maniera più uniforme e giudico questa migliore.
Insomma, un grafico integrativo e non uno da cui trarre un giudizio definitivo.

Tale grafico però sarebbe bene riportasse più dati possibile, per esempio i frame medi "bruti" e quelli riconteggiati tenendo conto dei frame drop e runt (anche se io continuo a nutrire seri dubbi sulle soglie utilizzate).
Si potrebbe anche valutare di non considerare i frame dei primi e degli ultimi secondi, che talvolta falsano un po' il grafico dei minimi e massimi.

[Paolo Corsini]

Originariamente inviato da calabar

....
Per quanto riguarda il grafico degli FPS medi, secondo me serve ancora. Non da solo, ma nel contesto.
Io per esempio vedo due schede che producono più o meno gli stessi FPS, ma uno, osservando gli altri grafici, risulta produrli in maniera più uniforme e giudico questa migliore.
Insomma, un grafico integrativo e non uno da cui trarre un giudizio definitivo.

Tale grafico però sarebbe bene riportasse più dati possibile, per esempio i frame medi "bruti" e quelli riconteggiati tenendo conto dei frame drop e runt (anche se io continuo a nutrire seri dubbi sulle soglie utilizzate).
Si potrebbe anche valutare di non considerare i frame dei primi e degli ultimi secondi, che talvolta falsano un po' il grafico dei minimi e massimi.

Ciao,
guarda che questo grafico c'è sempre stato; quello che ho fatto con l'ultimo articolo pubblicato, la Radeon R9 290X, è stato inserire grafici indipendenti per ciascuna scheda con indicazione di eventuali frame drop e runt presenti. Quello che non avevo messo era un grafico che indicasse frame rate medio e frame rate minimo di ogni scheda, ma ritorna con le prossime due recensioni assieme ad una nuova riproposizione del frame rate medio di tutta la scena di benchmarking.

Circa la prima indicazione che riporti, sarebbe interessante ma credimi non è tecnicamente semplice. Considera che il prossimo articolo è composto da poco meno di 300 grafici distinti, considerando 12 schede e 7 titoli analizzati

[calabar]

Originariamente inviato da Paolo Corsini

Ciao, guarda che questo grafico c'è sempre stato;

Ciao,
Io intendevo il classico grafico a barre.
L'ideale sarebbe che riportasse sia frame medi che minimi, sia con o senza drop e runt conteggiati (in pratica 4 valori distinti per ogni scheda ad ogni risoluzione testa).

Originariamente inviato da Paolo Corsini

Circa la prima indicazione che riporti, sarebbe interessante ma credimi non è tecnicamente semplice. Considera che il prossimo articolo è composto da poco meno di 300 grafici distinti, considerando 12 schede e 7 titoli analizzati

Beh, spero che i grafici non li facciate a mano, ma che venga fatto tutto in automatico inserendo i dati.
Una volta inseriti i dati, cioè, potete fare tutti i grafici che volete con quelli, se ne deve occupare il software.

Risulta fondamentale la possibilità del lettore di interagire e poter lui visualizzare i grafici per le schede che gli interessano.

[Paolo Corsini]

Originariamente inviato da calabar

Ciao,
Io intendevo il classico grafico a barre.
L'ideale sarebbe che riportasse sia frame medi che minimi, sia con o senza drop e runt conteggiati (in pratica 4 valori distinti per ogni scheda ad ogni risoluzione testa).


Beh, spero che i grafici non li facciate a mano, ma che venga fatto tutto in automatico inserendo i dati.
Una volta inseriti i dati, cioè, potete fare tutti i grafici che volete con quelli, se ne deve occupare il software.

Risulta fondamentale la possibilità del lettore di interagire e poter lui visualizzare i grafici per le schede che gli interessano.

Per il grafico a barre intendi quello del frame rate medio di tutta la scena; ho spiegato prima che quel grafico ritorna con i prossimi articoli, ma di tutto il lavoro che viene fatto è questo il dato assolutamente meno significativo. Il grafico conterrà solo i dati degli fps medi depurati da eventuali frame drop o runt, che potrai vedere nel grafico seguente che riporta l'andamento del frame rate per ogni secondo di rilevazione della scena usata nello specifico gioco.

Tutti i grafici che hai visto nelle precedenti recensioni, fatta eccezione per l'ultima, sono sempre stati fatti uno per uno "a mano". Nell'ultima recensione ho usato solo grafici generati in automatico con i tool FCAT, customizzando parecchie cose (i file sono generati da script in perl). Nei prossimi articoli ci sarà un mix tra grafici fatti custom da me e grafici generati in automatico, con script sempre customizzati

[Kharonte85]

Originariamente inviato da Paolo Corsini

Penso sia esattamente l'opposto: il frame rate medio di una scena è un dato assolutamente particolare. In quanto dato medio su un lasso di tempo mediamente lungo non fornisce alcuna informazione generale su quale sia il comportamento della scheda ma solo un dato che di fatto è sui generis.
50 fps su una scheda in una sessione di 120 secondi di durata possono voler dire 50 frames al secondo costanti su ogni secondo dei 120 monitorati, oppure 90 sui primi 60 secondi e 20 sui restanti 60 secondi. Banale dire che il quadro cambia radicalmente, ma con una indicazione di soli 50 fps medi questo dettaglio si perde.

Non sono d'accordo (e nemmeno la statistica lo sarebbe), nel senso che la media è il dato generale mentre l'analisi della distribuzione è un dato che ti costringe a considerare ogni singolo elemento, quindi è un analisi del particolare.

Il motivo per l'introduzione della nuova metodologia mi è chiaro, tuttavia credo sia superfluo in molte condizioni. Siccome si ha a che fare con una notevole mole di dati il valore medio è quello che restituisce nel modo più efficace il riassunto della situazione, che nel mondo reale del videogiocatore è fatto di minuti (se non ore) di gioco. Proprio perchè è un dato di approssimazione descrive al meglio le macro-caratteristiche ed è più generalizzabile ad altri sistemi di prova.

Il valore medio, se vogliamo accompagnato ad un valore minimo, contiene già la maggior parte delle informazioni per capire se una scheda è più veloce di un'altra, col vantaggio dell'immediatezza.
Le variazioni e gli errori dei dati interni alla distribuzione si correggono e bilanciano da sole poichè le GPU hanno un comportamento simile (essendo processori di calcolo), salvo i casi particolari (che generano valori Outlier) che sono generati da errori nei driver e/o nella gestione del Multi-GPU (interno/esterno).

Andare a cercare ogni volta tutti i valore della distribuzione diventa ridondante e proibitivo per la maggioranza degli utenti. Per capirci dai vari grafici sei comunque costretto a fare un confronto "a vista" e un valore medio "a mente". E' anche il motivo per cui in tutte le analisi statistiche si usa la Media per descrivere un insieme di dati, prima di qualsiasi altra cosa.

Originariamente inviato da Paolo Corsini

Se aggiungiamo il grafico dell'andamento dei frames al secondo per ogni secondo della rilevazione allora il livello di dettaglio sale radicalmente, ma a questo punto perchè non passare a vedere cosa succede all'interno del secondo per verificare la presenza di microstuttering? Da questo le analisi sul frame time, prima con fraps e in seguito con FCAT.

Perchè forse il microstuttering non è percepibile dai giocatori nella stragrande maggioranza dei casi, per cui quel dato alla fine è utile solo agli smanettoni. L'analisi del microstuttering può essere valida per il multi gpu ma per il resto è un lavoro extra.

Originariamente inviato da Paolo Corsini

Tu sai che il comportamento è simile proprio grazie a quei dati, non per il valore del frame rate medio.

Una volta scoperto si può anche tornare più che serenamente al valor medio senza preoccuparsi di valori outlier che inficiano l'approssimazione, perchè in pratica non ci sono quasi mai.

Originariamente inviato da Paolo Corsini

Non capisco nello specifico a cosa tu ti riferisca: mi puoi fare qualche esempio pratico?

Andando ad analizzare il singolo valore si rischia di registrare eventi dipendenti e correlati ad HDD/SSD o di una CPU, Scheda madre, delle Ram o di altri componenti del PC, un tempo morto magari non ripetibile, un dato di cui non sapevi l'esistenza perchè era assorbito nel valore medio ma che ora ti tormenta, a torto.

Originariamente inviato da Paolo Corsini

Mi piace, se posso, cercare di essere il più oggettivo possibile in una analisi e credo che con le schede video questo sia ancora possibile. Chiamalo approccio più scientifico e meno sull'esperienza, ma a mio avviso gli strumenti ci sono per dare un riscontro che sia univoco. I confronti di quel tipo sono interessanti ma c'è troppa variabile soggettiva che a mio avviso non aiuta, e i dati emersi da quell'articolo del resto sono pienamente allineati a quello che puoi far emergere dai dati strumentali.

Io invece, ed essendo colui che si spara le ore in laboratorio a testare VGA lo dico forse contro il mio interesse, credo che questo tipo di analisi abbia molto senso. Vedo però che chi ha sistemi FCAT ha optato per un approccio light, adottando dati con frame rate medi al secondo e ogni tanto usando il frame time. Questo approccio è a mio avviso quanto di più sbagliato si possa fare ora: se pensi che sia l'analisi del frame time l'approccio corretto per sviscerare il comportamento di una scheda video e dare un giudizio finale al tuo lettore lo usi sempre, anche se richiede tempo e fatica, perchè fornisci un servizio migliore a chi ti legge. Che io analizzi una scheda video non è in ultima analisi per me, ma per fornire a chi mi legge un prodotto editoriale spero di qualità che lo possa aiutare nelle proprie decisioni di scelta.
Da queste analisi io ricavo le conclusioni e le raccomandazioni di acquisto: uno può prenderle per oro colato oppure può pensare il contrario di quello che io scrivo ma i dati che indico sono oggettivi e sono la base per giungere a quelle conclusioni.


non mi pare sia tanto la moda, proprio perchè non è di semplice implementazione. A quel che mi risulta Tech Report analizza tutto con frame time, idem noi e PC Perspective. Tutti gli altri che hanno strumentazione per eseguire FCAT usano frame time solo in parte, in alcuni casi senza lasciar facilmente intendere se per le rilevazioni medie si utilizzi sempre un approccio con FCAT (quindi scartando frames dropped e runt) oppure se con benchmark integrati.
A me piace tanto, per mia fortuna, testare schede video e nuove architetture e sono convinto dei benefici dell'analisi del frame time per chi mi legge ma credimi quando ti dico che sarebbe molto più semplice per il mio tempo di lavoro fare analisi con i benchmark integrati e i frames al secondo medi. Mi carico di tanto lavoro in più perché credo che questo sia la strada giusta per il fine che ho, che è quello di informare al meglio chi mi legge.

Infatti io vedo tanto lavoro, ammirevole ma in fondo poco fruibile.

C'è sempre un certo rischio nella spinta allla ricerca dell'obbiettività a tutti i costi, ci si può ritrovare con un dato scientifico perfetto ma con scarsa utilità e ancor più rischioso si può perdere il senso di quello che si stava facendo. Ecco perchè ho detto che è una moda, serve per testare le nuove tecnologie ma forse non è fondamentale. Se stessimo parlando di variabili psicologiche o soggettive un analisi del genere avrebbe sicuramente ragion d'essere ma dato che parliamo di FPS...

Originariamente inviato da Paolo Corsini

Ho già visto utilizzato quel grafico ma francamente lo trovo poco leggibile, soprattutto nell'ottica dell'utente che è meno esperto (o meno desideroso di perdere una volta 10 minuti di tempo per capire come funzionino le analisi del frame time). Quello che si riporta è, se ben intendo, il margine di variazione dei frames in millisecondi, quindi con ottica di lettura opposta rispetto al frame time con indicazione del frame rate istantaneo che usiamo qui, oltre al dato rilevato al 95-esimo percentile. Vedendo questo grafico senza approfondire se ne ricava, a mio avviso, che
1) la R9 290X è drammaticamnte più lebta della HD 7970 GHz Edition sia come media sia al 95-esimo percentile
2) che una scheda ha una variazione del frame time più o meno elevata rispetto alle altre schede, ma non sappiamo se ci sia un limite oltre il quale tale variazione ha impatti sulle prestazioni velocistiche visibili agli occhi degli utenti.

La seconda osservazione è molto importante: se una scheda ha variazione doppia rispetto alle altre in termini assoluti, ma questo si verifica con un frame time sempre ben superiore ad una soglia di 100 frames al secondo istantanei, allora il comportamento sarà preferibile come risultato a video rispetto ad una scheda con metà della variazione ma un frame time che è nell'ordine dei 40 al secondo istantanei implica che l'utente avrà un comportamento a video con presumibilmente un po' di stuttering.

A mio avviso preso da solo quel dato può essere fuorviante, e soprattutto senza avere un riferimento su quale sia il frame time oltre ad una indicazione di quale possa essere un valore di varianza accettabile (alla stregua dei 50-60 frames al secondo medi che assicurano la fluidità di una scena).

A me non sembra illeggibile, se ho capito bene quel grafico dice quanto è mediamente stabile nei framerate una scheda video, se è 0 è perfetta se invece ha certe percentuali è più instabile. Ma il problema è che cambiando giochi la situazione si può anche ribaltare per cui alla fine anche questo dato se non è mediato è poco fruibile.

Comunque sono intervenuto non per mettere in dubbio in toto il lavoro della redazione, avere informazioni in più è sempre un valore aggiunto anche se in pochi sono in grado di apprezzarlo (tra l'altro io mi metto paradossalmente fra questi). Però credo che questo approccio sia diventato ridondante oltre che problematico per la comprensione dei non esperti, la vedrei bene come analisi aggiuntiva da fare una tantum. In sintesi secondo me, ma anche leggendo alcuni commenti in giro l'apporto di informazioni che porta in più non vale la fatica che fate, ma questo giustamente sta a voi deciderlo.

Era doveroso fare da avvocato del diavolo.

Grazie della risposta

[Paolo Corsini]

Ciao

innanzitutto grazie per la risposta. Le considerazioni che fai sono più che condivisibili; il mio fine è essere da un lato completo nell'analisi, dall'altro comprensibile anche a chi non è particolarmente esperto. Prova a guardare quanto ho fatto oggi nel pezzo sulla R9 290: non sono ancora giunto al 100% a quello che vorrei ma la distanza inizia a ridursi pezzo dopo pezzo

[Kharonte85]

Sì ho visto, molto meglio.