Perché i sensori delle fotocamere digitali non possono esporre ogni fotosite singolarmente?

Perché è impossibile per i sensori della fotocamera funzionare come può l'occhio umano? Quello che voglio dire è, perché una certa porzione dell'immagine deve essere sovra / sottoesposta se compensiamo rispettivamente le aree scure e chiare quando scattiamo una foto e decidiamo le impostazioni di apertura e velocità dell'otturatore.

Capisco che la luce che entra dipende dall'apertura e dalla velocità dell'otturatore, ma poiché le reflex digitali sono digitali, non può esistere una tecnologia che consentirebbe a ciascuna cella del sensore di utilizzare la propria misurazione e quindi non sarebbero tutte soggette alla stessa quantità di luce ma a seconda della misurazione, una CPU della fotocamera spegne alcune celle per non sovraesporre.

Spero di non dire sciocchezze. Mi sembra sicuramente un'idea plausibile.

Chi decide quali pixel ottengono quanto guadagno? Gran parte di ciò che accade nel sistema visivo umano accade nella corteccia, non nell'occhio, e dipende da ciò che pensiamo sia importante vedere sulla base di una combinazione di decisione intellettuale e la spinta istintiva (un po 'impossibile) per l'autoconservazione . Mentre è vero in un certo senso che vediamo cosa c'è, è altrettanto vero in un altro senso che vediamo ciò che vogliamo (o dobbiamo) vedere.

Sarebbe quasibanale creare un sensore di densità di pixel relativamente basso con grandi fotositi che consentono un'enorme gamma dinamica e (assumendo una tecnologia di tipo CCD, poiché l'attuale tecnologia dei sensori CMOS non può funzionare in questo modo) un otturatore elettronico per pixel oltre a l'otturatore meccanico. Quindi cosa ti farebbe venire? Un'immagine piatta con molta profondità di bit e un contrasto locale molto basso (se l'intera profondità di bit viene convertita così com'è per la visualizzazione o la stampa) insieme a un numero di pixel che sono quasi, ma non del tutto, tagliati dalla saturazione del sensore ( sebbene siano, in effetti, tagliati dall'azione limitante dell'otturatore elettronico appena prima del punto di saturazione). Diciamo per ragioni, tuttavia, che questo sensore e il suo computer associato potrebbero registrare i dati di clipping (il motivo per cui ha smesso di registrare a quel sensel, che potrebbe essere semplice come registrare la durata effettiva dell'esposizione in quel sito). Ciò consentirebbe all'elettronica della fotocamera di ricostruire quali sarebbero stati i numeri se il photosite fosse rimasto in gioco fino al fischio finale. Quindi ora abbiamo un'immagine ancora più piatta con una profondità di bit maggiore. E dove disegni la linea? 32 bit? 64?

Ora arriva la parte difficile: trasformare questi dati di immagine piatta e ad alta gamma dinamica in una fotografia avvincente. L'approccio più semplice è quello di prendere gli otto bit (o qualunque sia la profondità dei bit di uscita) che rappresentano l'immagine misurata primaria e buttare via il resto. Probabilmente non sarebbe molto più difficile adattare i dati a una curva a S, comprimendo le ombre e / o le luci estreme - che è più o meno ciò che già fanno le impostazioni della gamma dinamica estesa sulle nuove fotocamere. Ma ci sono solo tanti bit di output disponibili per pixel e la maggior parte dei valori di evidenziazione estesi arrotonderà al bianco (o almeno un mix di 254 e 255). Quindi hai guadagnato molto poco complicando notevolmente il sistema.

Ma c'è ancora un'opzione aperta: la mappatura selettiva dell'area. Perché non portare il cielo, diciamo, o solo le nuvole in quel cielo, giù di valore in modo che possa conservare i dettagli, preservando il contrasto desiderato in primo piano? Questo è dove vive il problema difficile. Cosa è importante La fotocamera dovrebbe decidere per te? Se la telecamera decide, allora avremo un grande passo avanti nella visione artificiale e nell'intelligenza artificiale. In caso contrario, vuoi davvero prendere questo livello di decisione post-acquisizione per ogni foto scattata? Sì, so che ci saranno alcuni fotomontanti che vogliono davvero essere così pratici, ma possiamo accettare che sia una condizione patologica e che i professionisti interessati al tempo di inversione e la stragrande maggioranza dei consumatori non siano ti piace?

Quindi hai bisogno di un nuovo sensore, elettronica molto più complicata attorno al sensore, un enorme file di immagine per dati grezzi proiettati (che richiede schede più grandi e tempi di scrittura più lunghi / frame rate più lenti), il tutto per raccogliere dati che verranno eliminati di più del tempo in modo da poter occasionalmente scattare immagini HDR one-shot che richiedono molto intervento umano in post (o un enorme balzo in MV / AI). Probabilmente potresti venderne alcuni, ma mi aspetto che il mercato assomigli molto al mercato di medio formato rispetto al mercato 35mm / APS-C esistente. Cioè, venderesti a un gruppo selezionato di fotografi benestanti che o hanno effettivamente bisogno delle capacità per motivi professionali o per soddisfare la loro visione fine art, e alcuni che hanno appena avuto un calcio abbastanza grande fuori dalla post-elaborazione per pagare la tassa sulla tecnologia.

C'è una cosa che solo poche persone menzionano, ed è che una scena non sembrerebbe la stessa se aree diverse fossero esposte in modo diverso ad altre aree. Una scena sembra come succede perché c'è una variazione. Sì, potrebbe essere un modo per salvare le luci e aumentare le ombre, ma alla fine quello che vuoi davvero è una gamma dinamica più ampia in grado di catturare la gamma dinamica nella scena usando un'impostazione di esposizione.

I nostri occhi sono fantastici nel fornirci una gamma dinamica molto maggiore rispetto all'attuale tecnologia delle fotocamere di consumo. Posso guardarmi rapidamente intorno e percepire i dettagli precisi nelle aree in ombra e nelle aree luminose illuminate dal sole allo stesso tempo.

Uno dei modi in cui i produttori di fotocamere stanno risolvendo questo problema consiste nell'utilizzare pixel ad alta e bassa sensibilità in un sensore, quindi combinando il risultato per pixel. Le più recenti telecamere cinematografiche digitali RED hanno una matrice di pixel del sensore normali e a bassa sensibilità denominati HDRx. I pixel del sensore piccoli e di bassa sensibilità sono combinati nelle alte luci dei pixel luminosi per aumentare la gamma dinamica.

Innanzitutto, la gamma dinamica dell'occhio umano non è eccezionale. Sembra solo essere migliore delle nostre attuali fotocamere di fascia alta, perché il nostro cervello fonde costantemente "istantanee" scattate utilizzando impostazioni di esposizione diverse. I nostri occhi non possono registrare oggetti estremamente luminosi ed estremamente scuri contemporaneamente (anche se il cervello può). Vero prodigio dell'elaborazione delle immagini, ma solo ottica / dispositivo di imaging mediocri.

Esistono diverse proposte / prototipi che mostrano come la gamma dinamica dei sensori di immagine potrebbe essere notevolmente migliorata:

• Modulo Camera di MIT

  ogni fotodiodo ripristina il suo stato quando colpisce la massima carica e ricorda quante volte è successo

• Sensore di immagine Quanta di Eric Fossum

  utilizza pixel di conteggio dei fotoni molto più piccoli e più veloci invece di contenitori di carica "analogici" + convertitori A / D

Ti stai perdendo un po 'di fisica di base qui. Il problema principale è che le scene reali hanno ampi rapporti di contrasto. I nostri occhi si sono evoluti per far fronte a ciò percependo i livelli di luce logaritmicamente anziché linearmente. Sfortunatamente, l'attuale tecnologia dei sensori misura intrinsecamente la luce in modo lineare. O più precisamente, il rumore è fissato su una scala di luce lineare.

Con la tecnologia attuale, il limite massimo di contrasto è sostanzialmente una funzione del livello di rumore. Per ragioni di argomento, usiamo una scala di luce 0-1000, il che significa che un sensore può dirti il ​​livello di luce da 0 a 1000. Qual è il rapporto più alto che può quindi misurare? Dipende dal livello di rumore. Il livello di rumore è sostanzialmente quello che ottieni invece del vero nero, che sarebbe 0 in questo esempio. All'incirca, se il livello di rumore è 2, si ottiene un rapporto di luminosità di circa 1000: 2 = 500: 1. Finché la scena non supera quella (quasi tutti lo farebbero, in realtà 500: 1 non è così tanto), puoi fare qualsiasi mappatura logaritmica che desideri in seguito.

Quindi la strategia attuale, dato che i sensori attuali sono intrinsecamente lineari, è quella di cercare di aumentare il rapporto segnale-rumore e di fornire abbastanza bit in modo che il rumore di quantizzazione sia inferiore al rumore casuale intrinseco. Più basso è il rumore del sensore, più ampie sono le scene a gamma dinamica che è possibile catturare senza tagliare le luci o sfumare le ombre.

Esiste una tecnologia del sensore totalmente diversa che misura intrinsecamente il registro della luminosità. A volte questi sono chiamati sensori "CMOS", perché sono molto simili alle RAM dinamiche CMOS con il coperchio rimosso (semplifico eccessivamente, ma il primo test in laboratorio è stato effettivamente eseguito in questo modo). Ottieni una tensione proporzionale al registro della luce, ma attualmente questi hanno rapporti segnale-rumore molto più bassi. Mitsubishi è stato il primo a commercializzare questi sensori, ma non sono ancora abbastanza vicini per le fotocamere di fascia alta.

Non ci sono dubbi che ci saranno progressi su più fronti e sono sicuro che vedremo progressi costanti negli anni a venire. Tuttavia, ci sono buoni motivi per cui le cose sono come sono adesso, non solo perché nessuno può immaginare qualcosa di meglio. Se qualcuno avesse una tecnologia in grado di misurare con precisione una vasta gamma dinamica e ad un prezzo che le persone sono disposte a pagare, sarebbero diventati ricchi là fuori.

Credo che sia troppo complicato.

Fondamentalmente ci sarebbero due possibili approcci; o ciascun fotosensore potrebbe tenere traccia del tempo e spegnersi, oppure la CPU potrebbe tenere traccia dei dati dai fotosensori e spegnerli.

Per il primo approccio significherebbe che ogni fotosensore avrebbe bisogno di un segnale di clock e di un contatore, in modo che potesse tenere traccia di quanto tempo impiegava prima di spegnersi. Sono necessari molti più circuiti per adattarsi al chip e molta più elettricità è necessaria per farlo funzionare, il che aumenta il rumore del segnale. Probabilmente così tanto che la gamma dinamica aumentata sarebbe inutile.

Per il secondo approccio, la CPU dovrebbe leggere tutti i dati dal sensore circa una volta ogni 1/10000 di secondo. Questo è circa 1000 volte più veloce di quanto la tecnologia attuale possa realizzare, quindi sono decenni nel futuro, se possibile.

Inoltre, ci sono altre complicazioni con una tale soluzione, come ad esempio ogni pixel avrebbe un tempo di esposizione diverso. Otterresti artefatti piuttosto strani se fotografi qualcosa che si muove.

Mentre è vero che le reflex digitali sono digitali, gli obiettivi no. Tutti i sensori delle celle saranno soggetti alla stessa apertura, non importa quanto intelligente sia il corpo della DSLR, perché l'apertura è impostata sull'obiettivo. Quindi penso che variando l'apertura per cella del sensore sia fuori, almeno con l'attuale tecnologia dell'obiettivo.

Per quanto riguarda la velocità dell'otturatore, che è controllata dalla fotocamera, ma se immaginiamo una fotocamera che può variare la velocità dell'otturatore su diverse parti dell'immagine per controllare la sovra / sottoesposizione, si otterrà un mosso irregolare. Le parti più scure della scena dovranno essere esposte più a lungo e saranno più sfocate rispetto alle parti più luminose. Penso che una soluzione che cambi la velocità dell'otturatore non funzionerà per questo motivo.

Quindi l'unica cosa rimasta è ISO. Variare l'ISO significherebbe diversi livelli di rumore in diverse parti dell'immagine. Questo non suona troppo male, considerando che in cambio otterresti una gamma dinamica molto maggiore. Non so molto su come funzionano i sensori, ma immagino che l'impostazione ISO sia implementata nei sensori come una sorta di "messa a punto" verso un sottoinsieme specifico della scala di luminosità. Mi sembra che sarebbe proibitivamente costoso avere una misurazione indipendente e un controllo ISO su ogni cella del sensore, ma forse l'immagine può essere suddivisa in aree e ogni area misurata separatamente. Quindi la fotocamera dovrà avere una sorta di algoritmo per fondere le aree diversamente esposte, una specie di cosa fa "enblend" quando assembla un panorama in cui ogni immagine ha un'esposizione diversa. Mi sembra fattibile.

Un'altra opzione sarebbe quella di avere una fotocamera con più sensori, ognuno configurato su un ISO diverso. Nella tecnologia video ci sono 3 telecamere CCD, in cui ogni CCD registra uno di rosso, verde e blu. Non vedo perché non ci potrebbe essere un concetto simile per le DSLR, in cui più sensori scattano l'immagine a diversi livelli ISO, producendo un'immagine HDR.

Non riesco a trovare le informazioni al momento, ma mi sembra di ricordare di aver letto una descrizione di una tecnologia simile. L'idea era approssimativamente questa: l'unica cosa che deve essere curata sono i punti salienti esagerati. Se riesci a prevenirli, le aree scure possono essere curate da una maggiore esposizione all'intera immagine. Pertanto, al fine di evitare alte luci eccessive, ogni sensore terrà traccia della sua luce accumulata e, se si avvicina al massimo, il sensore si spegnerà. Che da solo non migliorerebbe nulla, in realtà peggiorerebbe le cose, invece di avere poche luci esagerate bianche luminose, si finirebbe con luci ancora più leggermente più scure. Quindi, invece di spegnersi, la cella spegnerebbe anche le celle in alcuni quartieri, preservando alcuni dettagli nelle aree luminose.

Come ho scritto, non riesco a trovare il testo ora, ma in qualche modo è nella mia mente associato alle fotocamere digitali HP.

Può essere fatto matematicamente (teoricamente): http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.64.9692&rep=rep1&type=pdf