Quanto sono importanti i punteggi e i test DxOMark?

A me la valutazione del sensore DxOMark sembra un po 'bizzarra. Recentemente hanno valutato il sensore della Nikon D3300 con lo stesso punteggio ottenuto dalla Canon 1Dx, che ritengo improbabile che rifletta le loro prestazioni e che mi ha anche reso molto scettico sul loro sistema di punteggio.

Apprezzo le loro misurazioni del sensore, che si traduce in uno strumento di riferimento per confrontare diversi sensori della fotocamera, ma sono davvero rilevanti? Per quanto ne so non esiste alcuna documentazione su come viene calcolato il punteggio da punteggi di Gamma dinamica, Sensibilità del colore e ISO in condizioni di scarsa illuminazione. Inoltre, l'interesse di DxO Labs risiede nella vendita dei loro software, non direttamente nel fornire strumenti di benchmarking scientifici e potrebbe essere ben orientato verso un determinato produttore.

Quanto sono utili i punteggi di DxOMark e come puoi usarli per confrontare diverse telecamere?

I "punteggi" primari di DXOMark sono assolutamente inutili. IGNORALI. È inutile cercare di ridurre un'entità complessa come una DSLR a un unico numero scalare che ti dica tutto. È un errore. Ci sono troppi fattori da considerare e quali sono i fattori più importanti per un determinato fotografo. Un singolo punteggio sconfigge completamente lo scopo di eseguire misurazioni in primo luogo.

Quando si tratta di altri spartiti di DXO, come scarsa luminosità, panorama e quant'altro, prenderli con una forte dose di sale. I loro punteggi generali sono fortemente ponderati e spesso basati su derivazioni di misurazioni piuttosto che su misurazioni effettive. Ad esempio, il punteggio Orizzontale si basa sulla "misura" di Stampa DR. Il problema è che DXO non MISURA effettivamente Print DR, in quanto non si basa su campioni prelevati da immagini effettivamente sottocampionate. Stampa DR è una semplice estrapolazione matematica dalla VERA gamma dinamica misurata del sensore.

Pertanto, Print DR non ti dice nulla sul sensore. Quando DXO dice che D800 e D600 hanno 14,4 stop di DR, questo è Print DR, che è estrapolato dal DR hardware reale, che è 13.2 stop. La stessa cosa vale per i sensori Canon. Quando DXO ti dice che il sensore ha 12 stop di DR, non è proprio così. In realtà, la maggior parte dei sensori Canon, a livello hardware, ha circa 10,95 stop di DR.

Il problema è peggiore di questo, tuttavia. Gran parte della profondità del colore e delle informazioni sul punteggio della sensibilità del colore sono ponderate, così come molti punteggi basati su ISO. I pesi si basano su telecamere che raggiungono determinate soglie, ad esempio il SNR a un determinato ISO superiore a un certo livello. Ciò garantisce un certo "bonus" al punteggio per quella telecamera. Nel momento in cui entra in gioco qualsiasi tipo di punteggio bonus basato sul peso, la tua capacità di confrontare direttamente qualsiasi cosa in base a qualsiasi punteggio esce completamente dalla finestra. Adesso sei su un campo di gioco non lineare in cui onestamente non sai se quella fotocamera Nikon laggiù con un punteggio di 95 è stata pesantemente ponderata rispetto a questa fotocamera Canon qui con un punteggio di 80.

Quando si tratta di misurazioni effettive, le informazioni DXO sono tra le migliori disponibili. Le loro misure di SNR, Screen DR, sensibilità al colore, ecc. Sono piuttosto sonore, dato che è tutto preso direttamente da più campioni di immagini RAW per ogni telecamera testata. La loro metodologia di test è abbastanza rigorosa e non c'è nulla che indichi che parte della loro metodologia dovrebbe essere messa in dubbio. Scientificamente, per quanto riguarda il modo in cui testano e ciò che misurano, DXO ha pratiche solide e informazioni solide.

DXO è davvero un miscuglio. Possono avere solide pratiche di test, ma il loro punteggio, dato che spesso si basa su informazioni matematicamente derivate, ponderate e sul fatto che a un paio dei loro punteggi vengono spesso assegnati punti "bonus" semplicemente per raggiungere determinate soglie, degrada completamente l'intero punto di cosa fa DXO: produrre un punteggio lineare per ogni telecamera che consenta di confrontare facilmente le telecamere. Inizialmente era un concetto imperfetto, il punteggio a numero singolo, ma lo hanno reso molto peggio dal modo in cui gestiscono il processo di punteggio effettivo.

Punteggio totale

In genere ignoro il punteggio complessivo, in quanto è troppo generale se capisci uno dei singoli punteggi.

Il punteggio complessivo è una funzione di una varietà di test (abbastanza) deterministici, ognuno dei quali è piuttosto informativo, e la maggior parte (se non tutti?) Hanno chiare unità di misura. Ma poi generano un "punteggio" che combina queste metriche, con dimensioni diverse. È un po 'come confrontare un'auto con un'altra, aggiungendo la loro massima accelerazione (m / s / s), le dimensioni del loro serbatoio del carburante (L), la loro velocità massima (km / h) e il numero di passeggeri che possono trasportare. Tutti vorranno ponderare le diverse componenti in modo diverso, quindi il punteggio complessivo diventa abbastanza irrilevante.

Usa punteggi case

Come dici tu, la Canon 1DX ha ottenuto lo stesso punteggio complessivo della Nikon D3300, ma nota alcune grandi differenze, anche solo nella pagina "Punteggi" di riepilogo:

• Il punteggio "Landscape" (aka Dynamic Range) è 11,8 contro 12,8 EV (1 stop migliore su D3300)
• Il punteggio "Sport" (noto anche come ISO a bassa luminosità) è 2786 contro 1385 ISO (1 stop migliore su 1DX)

Questi " Usa punteggi case " sono già molto più specifici, e dimensionalmente sensibili, e fanno confronti molto migliori.

Detto questo, lo sono anche

1. non necessariamente facile da capire, e
2. non necessariamente una misura utile per tutte le applicazioni

Ad esempio, il caso d'uso "Sport / ISO in condizioni di scarsa illuminazione" è

l'ISO in condizioni di scarsa illuminazione è l'impostazione ISO più elevata per una fotocamera che consente di ottenere un SNR di 30 dB mantenendo una buona gamma dinamica di 9 EV e una profondità di colore di 18 bit.

Questi valori scelti sono arbitrari, ma la parte utile è che vengono utilizzati in modo coerente per misurare tutti i sensori allo stesso modo. Ciò significa che mentre stai guardando un solo valore, sei almeno in grado di confrontare le mele con le mele. Come si confrontano il sensore A e il sensore B, per un determinato punto dati. È un confronto utile perché tutti i sensori tendono a funzionare meglio a ISO più bassi e tutti tendono ad avere drop-off simili man mano che aumenti ISO, ecc. Ma fai davvero affidamento su prestazioni simili su tutti i sensori affinché questo sia utile confronto per scopi generali.

misure

Se vai nella sezione "Misure" del confronto, inizierai a vedere alcuni confronti più utili. Molti dati, a molte condizioni diverse. È qui che puoi (in qualche modo) iniziare a rispondere a domande come "Quanto meno rumore ISO otterrei dalla fotocamera A rispetto alla fotocamera B, a ISO6400?". Oppure, se sai già che stai bene con la tua fotocamera attuale fino a ISO 1600, puoi utilizzare SNR per la tua fotocamera a ISO 1600 come base per il confronto con altre fotocamere (in questo caso, ci sarà una quantità simile del rumore dell'immagine in un 1DX a ISO 3200 come in un D3300 a ISO 1600). Bene, anche questo non è del tutto vero, dal momento che i dati SNR sono grigi per il 18%!

Il confronto delle prestazioni tra dispositivi complessi, con molte dimensioni / gradi di libertà è un problema intrinsecamente molto difficile. Spesso puoi confrontare abbastanza bene i singoli test, ma il problema è trovare test generalizzabili che descrivono rapidamente e facilmente prestazioni relative o assolute. Penso che "Usa i punteggi dei casi" raggiunga questo obiettivo, in larga misura, ma solo perché la tecnologia della maggior parte dei sensori è abbastanza simile, permettendoti di fare generalizzazioni come quella sopra sull'1DX essendo "uno stop meglio" per il rumore in condizioni di scarsa illuminazione . (Immagina se il rumore del sensore non fosse una semplice funzione ISO per tutti i sensori!)

Ricorda anche che un sensore che supera quello di un altro non è necessariamente utile . Le prestazioni ISO (SNR 18%) di una D3300 e una 1DX sono essenzialmente irrilevanti quando si riprende un JPEG di una scena luminosa, diurna. Più utili saranno le cose come la gamma dinamica (per i dettagli di ombre / luci con ombre dure). E anche allora, riprendendo JPEG, non otterrai molto di più da una gamma dinamica più ampia (c'è un po 'di compressione del tono per formare il JPEG ma entrambi sono ancora in grado di superare la gamma dinamica di 8 bit di un JPEG). Per ripetere l'analogia con l'auto, è come confrontare la massima velocità e accelerazione tra auto per il pendolarismo in città. Non raggiungerai mai i limiti di qualsiasi auto "veloce", quindi il suo tipo di irrilevante per quella applicazione. Hai davvero bisogno di un buon senso dell'applicazione specifica se vuoi confrontare due sensori in modo significativo, ed è qui che vuoi sapere:

1. Le misure effettive, per il confronto (non solo i punteggi complessivi)
2. Quali misure sono utili per l'applicazione
3. Qual è il limite di utilità per una particolare misura della prestazione

Sommario

Il punteggio complessivo è piuttosto inutile, tranne che come guida davvero generale alla ponderazione dei casi d'uso di qualcuno (non necessariamente tuo!).

I punteggi dei casi d'uso sono guide molto migliori per alcune tendenze generali delle prestazioni tra i diversi sensori.

Le misure ti consentono di fare i tuoi confronti, se sai cosa confrontare, e hai in mente un'applicazione. È anche importante sapere quanto è "sufficiente" o quando si ottengono "rendimenti decrescenti" per una determinata applicazione.

A meno che tu non capisca davvero l'elettronica, l'ottica, la fisica ... i numeri assoluti sono probabilmente piuttosto insignificanti.

Mi fido di DXoMark per quanto posso lanciarli, e non sono particolarmente bravo nel tiro a segno. Sono un'interessante fonte di informazioni sulle condizioni di laboratorio e possono essere occasionalmente utili quando si confrontano le telecamere dello stesso produttore, ma ci sono troppe variabili nei test che si discostano dalle condizioni del mondo reale per renderle generalmente utili per confrontare le telecamere, in particolare da diversi produttori.

Proprio come qualsiasi altro sito di recensioni di fotocamere, le prestazioni del mondo reale sono sempre più importanti delle condizioni di laboratorio. Se sai come leggere le informazioni e capire cosa è e non è rilevante per il mondo reale, puoi ricavare alcuni dati significativi da DxOMark, ma nella mia esperienza, è meglio prenderli con un grosso granello di sale.