Dxomark: Risultati attendibili?

[abracadabra46]

Originariamente inviato da ilguercio

Mi sa che sei te a non aver capito.

Puo essere..., e se cosi fosse chiedo scusa.

Ciao

[Raghnar-The coWolf-]

Provo a rispiegartelo (quanto mi sento paziente in questi giorni, mi stupisco di me stesso! e dire che dovrei curare il blog! Probabilmente prenderò spunto da questi reply XD)

Originariamente inviato da abracadabra46

capisco che anche Galileo ha tribolato per affermare il suo principio, ma non penso sia il caso tuo.

No io in effetti ho smesso di stare in laboratorio proprio perchè non volevo passare 3 anni della mia vita (letteralmente) a scremare dati che non c'entravano (far brillare lo specchio) per ottenere un unico numero veramente scientifico (sezione d'urto di dipolo dinamico nella reazione Hg 192 su O 16 se non ricordo male avrebbe dovuto essere il mio lavoro).
Cioè capisci: spendere 3 anni della propria vita per poter dire "Quindi in conseguenza dei miei studi la sezione d'urto di dipolo dinamico nella reazione Hg 192 su O 16 è Xmbarn".
E potresti dire dopo 1/2 mesi, il tempo per fare le calibrazioni necessarie "la sezione d'urto di quell'esperimento, in quelle condizioni con questi rivelatori calibrati in questo modo è Y mbarn".

Ora cosa fa spendere 2 anni e 10 mesi extra della propria vita a un fisico sperimentale per poter estrarre un numero che aveva già ottenuto? (A parte la dose di sadomasochismo che contraddistingue i fisici intendo)
Semplice, perchè il numero che ottieni dopo 2 mesi, per quanto esatto, non ti dice NULLA dell'effetto che vuoi vedere tu, insomma non ti dà un'informazione OGGETTIVA sulla reazione che vuoi studiare ma ti dà un'informazione SOGGETTA alle caratteristiche intrinsiche dell'esperimento, ovvero è un numero perfettamente inutile da dare a un teorico che deve confrontare la sua teoria (Che si svolge sempre nell'iperuranio quindi di nucleo allo stato fondamentale bombardato solo dallo ione che vuole lui all'energia che vuole lui nel caso che vuole lui dell'effetto che vuole lui :P), quindi alla fine perfettamente inutile a fare confronti diretti fra numeri di diversa provenienza (ma di stesso significato).

Adesso mi occupo di teoria e lì bisogna fare il contrario: prendere dei mattoni insignificanti e costruirci la cattedrale (o almeno provarci, la mia assomiglierà ad un capanno ma fa niente ), cattedrale in cui tutti i tuoi bravi amici sperimentali avranno scolpito (cioè tirato fuori opere d'arte dal materiale grezzo e inutile) gargoyles e statue che la abbelliranno e daranno fondamento e significato.

Ora scusate la divagazione, magari non era necessaria ma mi piace divagare su questo tipo di cose, perchè solo con l'esperienza si imparano e l'esperienza si fa leggendo diverse cose, in questo modo si possono estendere gli orizzonti un po' di tutti (me compreso), e scrivo con questo scopo perchè di DxO mark in tutta sincerità non me ne frega nulla, che voi lo crediate Dio o numeri tirati coi dadi io non ci guadagno o perdo niente... in ogni caso torniamo a DxO Mark.

Tu hai citato il metro per misurare la porta, i giri del motore etc... ma la questione è semplice:
"Come misuri una lunghezza?" "Con un metro" Semplice, confronti una lunghezza con una lunghezza di riferimento, non ci si può sbagliare.

Giri del motore è un po' più elaborata ma sempre la stessa solfa: vai a misurare in modo DIRETTO (senza invischiarci ulteriormente sul significato di Diretto vs Interpretato che ho divagato già abbastanza, mi sembra chiaro anche così) ciò che vuoi sapere.

Ora veniamo alla misura di un attributo come può essere il rumore di una macchina fotografica.
Ora, mi sembra che mentre ognuno di noi sa misurare la larghezza della porta una volta fornitogli un metro da sarto, praticamente nessuno di noi (penso proprio nessuno, dato che non si è ancora deciso uno standard che io sappia. Ma magari fra di voi c'è il futuro genio della teoria del rumore, si sa mai. ) può dare una definizione univoca, completa e misurabile di "rumore" nel caso fotografico.
Esistono diversi tipi di rumore, che hanno diverse influenze sulla QI, che si osservano in diverse condizioni etc... decidere un numerello che rappresenti una ventaglio immenso di combinazioni già è impresa ardua e puramente arbitraria.
E qua c'è il primo scoglio interpretativo: DxO per estrarre il suo numerello ha dovuto stabilire delle convenzioni, pesando opportunamente (e arbitrariamente) rumore su grigio 18%, rumore su ombre e alte luci senza trattare (se non sbaglio) rumore su colore e per i diversi canali colore, bending e altri brutti fenomeni che però sono più complicati da trattare matematicamente...
Il numerello di DxO è IL rumore? Manco per sogno. Magari per tizio è molto importante recuperare ombre, per Caio è molto importante recuperare alte luci ed ecco che già i due non si intendono e lo stesso punteggio può significare cose molto diverse per i due.

Ma soprassediamo anche questo, ammettiamo che ognuno di voi si spippi e comprenda TUTTI i numerelli che DxO posta (ovvero tutti i risultati di laboratorio) e li sappia valutare secondo il proprio personale metro di giudizio, veniamo ai numeri nudi e crudi direttamente dal laboratorio definizioni matematiche incluse.

Ora tutti di voi sanno che in ogni labratorio c'è un protocollo da seguire, una serie di regole e regoline, proprio per rendere confrontabili i dati fra di loro devono venire seguite.
Nel laboratorio DxO questo si traduce (suppongo) nell'avere una postazione, illuminata sempre allo stesso modo, possibilmente termostatata, su cui catturare un'immagine con mire ottiche convenzionali per tutti e dotati dei diversi attacchi.
Non si può suppore che una condizione del genere sia una condizione con cui abitualmente andremo a scattare. Nel mondo vero la luce è pazza, le ottiche non le progetta il signor Shneider in persona a prezzi folli (e comunque anche queste si dovranno interfacciare con le microlenti e il filtro AA ove presente, il che determinerà COMUNQUE una certa dose di variabilità a seconda del modello), i raggi non provengono tutti da sorgenti illuminati uniformemente con luce diffusa (o diretta), non viviamo alla temperatura di 25°C e i nostri sensori non sono appena unisciti dalla fabbrica (e temperature e usura dei sensori e dei contatti si riverseranno in modo diverso sulla QI da macchina a macchina, a seconda della bontà costruttiva).

Ma ammettiamo che questi siano effetti trascurabili.
Allora, dulcis in fundo, vi presento il terzo e ultimo scoglio (almeno di quelli che mi vengono in mente): l'interpretazione del file RAW.
Ora tutti sanno che utilizzando un software di camera bianca piuttosto che un altro gli effetti sono radicalmente diversi. Chi non lo sa può scaricarsi RawTherapee (gratuito) e confrontarlo col programma proprietario della macchina.
Comparsa di rumore inaspettato o scoperta di gamma dinamica insperata sono all'ordine del giorno quando si cambia software, per non parlare dell'interpretazione dei colori che davvero non ne ho trovato uno che faccia uguale a un altro! Senza contare che chi ha una certa esperienza con il post processing sà benissimo che una foto mediocre (sto parlando del lato tecnico) spesso si può recuperare in modo miracoloso, mentre altre volte una foto che sembra uscita decentemente non riesce ad essere perfezionata come sperato dando poco margine ulteriore per ridurre il rumore o recuperare luci e ombre. Non sempre (anche se spesso ) migliore è il file non processato migliore sarà il risultato finale (sempre parlando unicamente di tecnica).
Anche qua, in questo popò di scelte possibili, DxO deve scegliere una linea d'azione univoca onde misurare e restituire i numerelli da laboratorio.
Allora cosa fa? Come RAW interpreter ovviamente sceglie il suo RAW interpreter proprietario e come impostazioni dello stesso giustamente sceglie di processare il meno possibile.
Questa scelta è univoca e assoluta? AFFATTO.
Per gli effetti già citati i risultati potrebbero essere radicalmente diversi e restituire una classifica completamente diversa (ovviamente qualitativamente la D3X resterà in fascia alta e la FZ28 sarà fra le peggiori, ma riguardo alle singole posizioni ci sarebbero stravolgimenti pazzeschi) sviluppando anzichè con DxO con RawTherapee o ACR, e utilizzando impostazioni ottimizzate per ogni macchina (cambiano le impostazioni on camera ma non cita nulla riguardo all'ottimizzazione di parametri in camera bianca, che son quelli che fanno l'80% del lavoro) anzichè le solite impostazioni standard.

Quindi cosa indicano i numerelli di DxO?
Indicano i risultati di certe quantità arbitrariamente scelte (primo scoglio) dedotti con un certo protocollo (secondo scoglio) interpretati con un programma specifico con impostazioni generiche (terzo scoglio).
Questo quindi NON PUO' dare una indicazione quantitativa sulla qualità della macchina in esame. Lo scoglio più grosso rimane ovviamente il terzo, quindi già utilizzando DxO optics i numeri assumono più senso (anche se comunque non di certo assoluto), ma non mi pare qui lo usi nessuno.

Ora, io i numerelli di DxO non li userei come sculture nella mia cattedrale, perchè c'è a chi il "non finito" piace ma qui siamo ancora al disegno preparatorio. La procedura appunto assomiglia al primo mese del lavoro di analisi di un fisico sperimentale e cassa completamente il 90% del lavoro che risulta nel togliere, mano a mano, le quantità arbitrarie e arrivare con dei numeri VERAMENTE oggettivi.

Come si potrebbe avere dei dati OGGETTIVI sulle macchine prese in esame?
Semplice: per scremare la soggettività delle condizioni sperimentali bisogna provare OGNI condizione sperimentale (o almeno un ventaglio adeguatamente ampio che copra pressappoco ogni condizione).
Bisogna stabilire diverse convenzioni e definizioni cosicchè che ognuno possa rispecchiarsi in almeno una di esse e trovare quella a lui più congeniale. Bisogna provare diversi modelli della stessa macchina con diverse mire ottiche, in diverse condizioni di luminosità (tipo e quantità di luce) con un gran numero di test. A questo punto bisogna interpretare il RAW con diversi software di camera bianca fra i più utilizzati, con diverse impostazioni, diversi tipi di post processing....etc...etc...
A questo punto si prendono tutti numeri ottenuti, si rigettano (dopo aver verificato) quali sono dovuti a condizioni particolarmente critiche o deviazione statistica e quali sono da considerare...etc...etc...

Alla fine dopo 3 anni, si pubblica una tesi di dottorato dal titolo "Valutazione oggettiva e comparata della Canon 50D" di cui a nessuno fregherà una mazza perchè oramai sarà in vendita la 90D con prestazioni senzadubbio superiori, e anche se fosse uscita in tempo nessuno l'avrebbe letta perchè nessuno fotografo l'avrebbe capita, e anche se ci fosse stato un fotografo in grado di capirla (come il sottoscritto e la numerosa comunità di scienziati-fotografi) non gli sarebbe fregato una mazza perchè io una macchina fotografica la uso per fare foto non per avere numerelli di cui bullarmi

[ilguercio]

Minchia compà,che pazienza
Concordo.

[hornet75]

Originariamente inviato da Raghnar-The coWolf-

Provo a rispiegartelo ................................................

Adesso invece cominci a farmi veramente paura!!!!!!

[Raghnar-The coWolf-]

Originariamente inviato da hornet75

Adesso invece cominci a farmi veramente paura!!!!!!

e io che volevo essere gentile :sad:

[Ziggy Stardust]

Originariamente inviato da Raghnar-The coWolf-

e io che volevo essere gentile :sad:

va là va là va là! Ero così anch'io da neolaureato...

[Rikkardino]

sinceramente dopo aver visto che, secondo dxo, la mia 50D a 100 iso e a 200 iso misura sempre 158 iso (quando si vede a occhio nudo che la differenza è di uno stop) ho perso fiducia il loro...

[abracadabra46]

Originariamente inviato da Raghnar-The coWolf-

Provo a rispiegartelo (quanto mi sento paziente in questi giorni, mi stupisco di me stesso! e dire che dovrei curare il blog! Probabilmente prenderò spunto da questi reply XD)

Alla fine dopo 3 anni, si pubblica una tesi di dottorato dal titolo "Valutazione oggettiva e comparata della Canon 50D" di cui a nessuno fregherà una mazza perchè oramai sarà in vendita la 90D con prestazioni senzadubbio superiori, e anche se fosse uscita in tempo nessuno l'avrebbe letta perchè nessuno fotografo l'avrebbe capita, e anche se ci fosse stato un fotografo in grado di capirla (come il sottoscritto e la numerosa comunità di scienziati-fotografi) non gli sarebbe fregato una mazza perchè io una macchina fotografica la uso per fare foto non per avere numerelli di cui bullarmi

Vedi sinceramente non ci siamo capiti... io nel mio intervento davo per scontato questi risultati che tu affermi come principio, e che ritengo sacrosanti..., e non avevo nessun riferimento a DxO perché non può fregarmene di meno, tanto è vero a conferma di quello che ti scrivo, che nella mia risposta dicevo "tutto è soggettivo, e non è sempre apprezzato sul campo quello che in laboratorio può risultare migliore"
Il generale pensiero (in primis il mio) è che chiunque dia dei dati di laboratorio debba seguire la prassi da te descritta, non penso neanche per un istante che questo non sia rispettato, altrimenti chi si comporta diversamente è solo un ciarlatano.
Pertanto la mia credulità nei dati tecnici, presume che a monte si sia seguito un comportamento secondo regole precise oneste e senza secondi fini, implicando tutto quello che tu hai descritto, se tutto questo viene seguito, siamo davanti a risultati pressoché veritieri della realtà testata, senza interesse se la cosa testata non è più attuale o non è condivisa dalla massa di utilizzatori.
Io Ho preso la Fuji S5 Pro perché credo che ne sappia più della Nikon in fatto di colori, non mi sono interessato se i dati di test la classificano in certe condizioni a 6 milioni di pixel. e non 12, pur essendo nikonista convinto.

Forse... in modi diversi dicevamo le stesse cose.
Complimenti per la dotta risposta...

Ciao ciao

[Raghnar-The coWolf-]

Originariamente inviato da Ziggy Stardust

va là va là va là! Ero così anch'io da neolaureato...

ma tu che c'entri, sei un inge!

[ilguercio]

Abra,il punto non è che non sono scrupolosi o fanno le prove a membro di segugio.
Il punto è che non c'è uno standard mondiale di valutazione della bontà di un sensore,pertanto ogni misurazione effettuata su di esso ha motivo di esistere ed ha validità solo in una particolare occasione.
Uscirebbero dati diversi se,per esempio,usassimo Camera RAW,Raw Therapee o altri programmi per lavorare i raw.
Il punto,e poi chiudo,è che nessuno ha detto a DxO come fare le prove e che procedure rispettare.
Quei dati non sono universalmente significativi,lo sono soltanto in determinate condizioni,affatto standard.

[Raghnar-The coWolf-]

Originariamente inviato da abracadabra46

Il generale pensiero (in primis il mio) è che chiunque dia dei dati di laboratorio debba seguire la prassi da te descritta

Ecco pensiero molto sbagliato.
Chi scrive su internet lo fa per guadagnare in primis, non per la gloria scientifica.
Alcuni hanno la buona creanza di dirlo, altri no. Nessuno fa dei test scientifici come li intendo io (ed evidentemente tu).
DxO Mark, fra le procedure, lo dice che scatta solo un limitato numero di scatti a due sole carte con una sola mira in un solo laboratorio, vantandosi anche che riescono a dedurre tutti quei numeri da due sole carte.
Ovviamente dice anche che i suoi dati sono analizzati esclusivamente col software DxO Analyzer che logicamente prende le mosse da DxO optics.
Loro devono innanzitutto pubblicizzare il loro DxO optics, solo in secondo luogo dare dei dati agli appassionati (e tutto al fine di pubblicità virale per DxO optics :P ).

Altro sito molto discusso su questi e su altri lidi perchè ti fornisce il numerello è photozone che lo dice che i suoi test MTF vogliono dire poco o nulla (basta leggere e comprendere tutto il papello della procedura di analisi) sono fatti esclusivamente a una certa distanza (il che già non ti dice un tubazzo sulla resa di una lente che di solito è altelenante con la distanza di MAF), con UN SOLO esemplare di lente (tutti sappiamo che lo stesso modello può avere esemplari spettacolari ed esemplari mediocri, con casi estremi nel caso di Sigma), spesso USATO e PRESTATO di provenienza "dubbia" (quindi che può aver preso botte, puliture strane...etc... che possono aver influito sulla resa) facendo 3 scatti per lente e bona...

Ma è anche comprensibile: a nessuno frega avere un test superdettagliato e super-rigoroso perchè
1- è difficile da leggere dato che non ci si può limitare al numerello idiota
2- è luuungo e costoso da redarre, ergo non puoi trattare TUTTI i corpi macchina usciti a meno di avere un laboratorio di 10 persone MOLTO competenti e affiatate.
Quindi ti costa un botto farlo, e nessuno te lo visita perchè non dai il numerello idiota e non ci sono i confronti fra 12431241 corpi macchina e quindi non hai il rientro dell'investimento.

E tutto per cosa? Per avere dei numeri che comunque ammesso che riesci a capirli li prendi, li leggi, dici "avabbeh" e poi compri lo stesso la macchina col punteggio più basso perchè ti sta meglio in mano o ha il pentaprisma più bello o hai già 2 obiettivi di quella casa e non te ne sei fatto niente dell'informazione.

Erwin Puts ogni tanto si degna di dispensare la sua saggezza e di fare articoli che ammetterei come peer reviewer, ma è una mosca bianca, testa prevalentemente Leica M e lo fa una volta ogni morte di Papa.

Certe cose non vale la pena approfondirle... :P

[citty75]

Originariamente inviato da Raghnar-The coWolf-

Provo a rispiegartelo .....

Repetita iuvant....

[abracadabra46]

Originariamente inviato da ilguercio

Abra,il punto non è che non sono scrupolosi o fanno le prove a membro di segugio.
Il punto è che non c'è uno standard mondiale di valutazione della bontà di un sensore,pertanto ogni misurazione effettuata su di esso ha motivo di esistere ed ha validità solo in una particolare occasione.
Uscirebbero dati diversi se,per esempio,usassimo Camera RAW,Raw Therapee o altri programmi per lavorare i raw.
Il punto,e poi chiudo,è che nessuno ha detto a DxO come fare le prove e che procedure rispettare.
Quei dati non sono universalmente significativi,lo sono soltanto in determinate condizioni,affatto standard.

Condivido, e proprio perché non esiste uno standard mondiale che ogni uno è libero di fare prove con che si voglia e divulgare i propri dati, cercando un proprio guadagno, sta a chi acquista non comprare bastoncini di legno a €. 100.
Ciao

[Mercuri0]

Originariamente inviato da morpheus1210

Questo sito che confronta la qualità delle reflex è affidabile? A prescindere dalla scelta della reflex in base alla qualità del corpo e del parco ottiche.

La definizione di ISO di Dxomark non è quella che usano i produttori di macchine fotografiche per impostare l'ISO sulla macchina.

Pertanto è abbastanza inutilizzabile dall'utente.
(sebbene la metodologia di dxomark secondo la definizione da loro usata possa essere corretta: per alcune ricerche più tecniche sul comportamento del rumore nei sensori trovo dxomark interessante)

Per confrontare le macchine fotografiche meglio fare affidamento ai siti che "fanno le foto" (dcreview e imaging-resource), anche se non esprimono un comodo numerino sintetico.

Immagino che a te interessi fare foto, dopotutto, non fare misure su sensori

[Mercuri0]

Originariamente inviato da abracadabra46

Condivido, e proprio perché non esiste uno standard mondiale che ogni uno è libero di fare prove con che si voglia e divulgare i propri dati, cercando un proprio guadagno, sta a chi acquista non comprare bastoncini di legno a €. 100.
Ciao

Lo standard ci sarebbe pure, il problema è che nello standard vengono date anche diverse metodologie di misura che oggi danno risultati differenti. Del resto l'ISO è un parametro retaggio del mondo analogico, i sensori di imaging non hanno un "ISO" fisico di nessun tipo.

Se poi tiri in ballo anche robe l'"amplificazione digitale", le curve di gradazione, i sistemi di contrasto dinamico, e il fatto che l'esposimetro automatico delle macchine è tarato su di questi, auguri a misurare l'ISO!

Però, per farla semplice: se ti piace la definizione terra-terra "due macchine impostate con stesso ISO, rapporto focale e tempo di scatto fanno entrambe una foto correttamente esposta"... allora i dati di dxomark non sono corretti.

O viceversa, se vuoi usare la definizione di dxomark, dovresti usare la sola modalità "M" in raw, ignorare l'esposimetro, l'indicazione di ISO (per la quale dovresti farti una tabellina di equivalenza) e istogramma dato dalla macchina, probabilmente non poter fare il review delle foto sul monitor (le vedresti sovraesposte o sottoesposte), e usare un convertitore RAW che ti permetta di operare a basso livello come dcraw.

...auguri!

[abracadabra46]

Originariamente inviato da Mercuri0

Lo standard ci sarebbe pure, il problema è che nello standard vengono date anche diverse metodologie di misura che oggi danno risultati differenti. Del resto l'ISO è un parametro retaggio del mondo analogico, i sensori di imaging non hanno un "ISO" fisico di nessun tipo.

Se poi tiri in ballo anche robe l'"amplificazione digitale", le curve di gradazione, i sistemi di contrasto dinamico, e il fatto che l'esposimetro automatico delle macchine è tarato su di questi, auguri a misurare l'ISO!

Però, per farla semplice: se ti piace la definizione terra-terra "due macchine impostate con stesso ISO, rapporto focale e tempo di scatto fanno entrambe una foto correttamente esposta"... allora i dati di dxomark non sono corretti.

O viceversa, se vuoi usare la definizione di dxomark, dovresti usare la sola modalità "M" in raw, ignorare l'esposimetro, l'indicazione di ISO (per la quale dovresti farti una tabellina di equivalenza) e istogramma dato dalla macchina, probabilmente non poter fare il review delle foto sul monitor (le vedresti sovraesposte o sottoesposte), e usare un convertitore RAW che ti permetta di operare a basso livello come dcraw.

...auguri!

Che bello l'analogico quando tutto non era così incasinato, e la fotocamera serviva solo per far belle foto..., per fortuna le mie analogiche le ho ancora tutte e funzionanti (vedi firma).

Ciao

[Raghnar-The coWolf-]

Originariamente inviato da abracadabra46

Che bello l'analogico quando tutto non era così incasinato, e la fotocamera serviva solo per far belle foto..., per fortuna le mie analogiche le ho ancora tutte e funzionanti (vedi firma).

Ciao

Come no.
Fra combinazioni di Pellicole e sviluppi potevi diventarci altrettanto matto.
la differenza è che non si poteva lavorare a basso livello e nessuno provava ad analizzare lo spettro di Fourier delle foto e giocare al piccolo fisico, però c'erano quelli che provavano a giocare al piccolo chimico

[Mercuri0]

Originariamente inviato da abracadabra46

Che bello l'analogico quando tutto non era così incasinato,

Beh, è incasinato perché si rapportano i parametri all'analogico. Per esempio se invece di lunghezza focale da moltiplicare per il fattore di crop per avere la lunghezza focale equivalente, si parlasse di "angolo ripreso", non ci sarebbero un bel po' di casini.

e la fotocamera serviva solo per far belle foto...

O beh, anche con le digitali funziona così. E' la gente che invece di studiarsi un libro di composizione fotografica, preferisce studiarsi dxomark. Come se davvero i numeri di dxomark migliorassero la qualità delle foto...

[abracadabra46]

Originariamente inviato da Mercuri0

O beh, anche con le digitali funziona così. E' la gente che invece di studiarsi un libro di composizione fotografica, preferisce studiarsi dxomark. Come se davvero i numeri di dxomark migliorassero la qualità delle foto...

Quoto... e non solo di DxOMark.

Ciao

[mattew.cross]

se riteniamo attendibili i risultati di DxOmark...la mia nikon d5000 è nettamente superiore (stando ai loro dati e alle loro misurazioni) in quanto a prestazione del sensore a un sensore montato su una canon eos 7d...mhà ...sarà
io l unico dubbio che nutro su questo Dxomark è che loro per fare queste misurazioni non tengono contro che una ha 12mpx e l altra ne ha 18mpx con la conseguenza che i risultati sono ben peggiori sulle fotocamere con maggior mpx e un pixel pitch per forza di cose piu basso.
altro punto è che la nikon in questione monta un sensore leggermente piu grosso di canon ..ma la differenza è minima.