Un'impostazione di "esposizione universale" potrebbe essere praticamente possibile?

Non sono sicuro di quanto non sia istruita questa domanda, ma sono interessato a imparare, quindi grazie in anticipo per la tua indulgenza.

Il film cambia fisicamente nel periodo di tempo in cui viene esposto. Un sensore digitale, tuttavia, non lo fa; sta solo leggendo i dati. C'è qualche motivo per cui la fotocamera non è stata in grado di "ricordare" quali erano le letture del sensore in ogni punto di esposizione? Sono solo dati. Potrebbe trattarsi di molti dati, ma ci sono volte in cui si potrebbe desiderare di farlo, no? Dare molta più flessibilità alla post-elaborazione.

Se l'archiviazione dei dati non era un problema, c'è qualche motivo per cui questa non potrebbe essere la norma, almeno per la fotografia professionale e artistica?

Un sensore digitale non è in realtà meglio descritto come "lettura dei dati". Un modo molto migliore per descriverlo è "raccogliere fotoni" che vengono poi convertiti in dati misurando le microscopiche cariche elettriche che producono al termine del periodo di raccolta . Non hanno la capacità di registrare continuamente lo stato mutevole di ciascun pixel mentre raccolgono la luce. E a seconda di quanta poca o quanta luce stia cadendo sul sensore, potrebbe essere necessario molto tempo perché un numero sufficiente di fotoni colpisca il sensore prima che venga generato qualcosa di più di dati casuali. D'altra parte, in una luce molto intensa, a volte tutti i pozzetti di pixel possono riempirsi così velocemente che si perdono eventuali fotoni aggiuntivi che cadono sul sensore.

Nel primo scenario non vengono raccolti abbastanza fotoni per creare un modello riconoscibile attraverso il "rumore" generato dall'energia che fluisce attraverso il sensore che viene utilizzato per raccogliere le tensioni create dai fotoni che cadono nei pozzetti dei pixel. Pertanto non vengono raccolte informazioni utilizzabili. Tutta la tua foto è scura con punti casuali di colore e luce.

Nel secondo scenario vengono raccolti così tanti fotoni che ogni pixel viene letto allo stesso valore massimo, chiamato saturazione completa, e poiché ogni pixel nell'immagine ha lo stesso valore non sono state conservate informazioni utilizzabili. Tutta la tua foto è bianca e brillante.

È solo quando un numero sufficiente di fotoni colpisce un sensore che le aree con più fotoni per unità di tempo hanno un valore di lettura più elevato rispetto alle aree con meno fotoni che li colpiscono per unità di tempo. Solo allora il sensore ha raccolto informazioni significative che possono differenziare tra aree di diversa luminosità.

Immagina di organizzare una serie di secchi d'acqua nel tuo cortile per raccogliere le gocce di pioggia. Immagina che tutti abbiano un po 'd'acqua, ma lo scarichi prima di metterli. Alcuni sono posizionati sotto la grondaia del tetto della casa. Alcuni sono collocati sotto grandi alberi nel tuo cortile. Alcuni sono messi all'aperto. Alcuni sono posizionati sotto il beccuccio che scarica l'acqua dalle grondaie nel cortile. Quindi inizia a piovere.

Diciamo che piove solo per un tempo molto breve: 15 secondi. Ci sono alcune gocce d'acqua in ogni secchio. Ma non c'è abbastanza acqua in ogni secchio per essere in grado di dire se ogni secchio potrebbe aver fatto cadere più acqua piovana al suo interno o se potrebbe aver avuto solo qualche altra goccia rimasta nel secchio quando hai scaricato l'acqua prima di mettere i secchi nel cortile. Poiché non disponi di dati sufficienti per determinare quanta pioggia è caduta su quali parti del cantiere, scarichi tutti i secchi e attendi che piova di nuovo.

Questa volta piove per diversi giorni. Quando smette di piovere, ogni secchio del cortile trabocca. Anche se sei abbastanza sicuro che alcuni secchi si siano riempiti più velocemente di altri secchi, non hai modo di sapere quali secchi si siano riempiti più rapidamente e quali secchi si siano riempiti per ultimi. Quindi è necessario scaricare di nuovo i secchi e attendere altra pioggia.

Al terzo tentativo piove per tre ore e poi smette di piovere. Esci in giardino e ispezioni i tuoi secchi. Alcuni sono quasi pieni! Alcuni hanno a malapena acqua in essi! La maggior parte ha quantità variabili di acqua tra i due estremi. Ora puoi utilizzare la posizione di ogni secchio per determinare quanta pioggia è caduta su ogni area del tuo cortile.

Il motivo per cui alteriamo l'esposizione nelle fotocamere digitali è tentare di raccogliere abbastanza luce da rendere quasi sature le aree più luminose.Idealmente, ciò si verifica con la fotocamera con sensibilità ISO di base. A volte, però, non c'è abbastanza luce per farlo. Anche con la più grande apertura disponibile non possiamo raccogliere abbastanza luce nel più lungo tempo che osiamo lasciare l'otturatore aperto (a causa del movimento dei nostri soggetti). Ciò che facciamo in questo caso è regolare l'impostazione ISO nella nostra fotocamera in modo che tutti i valori che escono dal sensore vengano moltiplicati per un fattore che porta i valori più alti in un punto in cui sono quasi, ma non abbastanza saturi. Sfortunatamente, quando amplificiamo il segnale (le tensioni create dai fotoni che atterrano in pozzi di pixel) amplificiamo anche il rumore (le tensioni irregolari casuali prodotte dalla corrente utilizzata per raccogliere le tensioni da ciascun pozzetto di pixel). Ciò si traduce in un rapporto segnale-rumore inferiore che riduce la quantità di dettagli che possiamo creare dai dati che abbiamo raccolto dal sensore.

Esistono altre limitazioni tecniche che impediscono alle telecamere di mantenere un "totale parziale" del numero di fotoni raccolti a vari intervalli mentre l'otturatore è aperto. Gettare abbastanza soldi per il problema e alcune di queste limitazioni possono essere superate, almeno in parte. Ma o le leggi della fisica dovrebbero cambiare o dobbiamo cambiare completamente il modo in cui i sensori contano i fotoni prima che altri di quei limiti possano essere superati. Alla fine la tecnologia di alcuni o tutti questi dispositivi potrebbe sostituire il modo in cui attualmente catturiamo immagini di altissima qualità, ma non siamo ancora arrivati ​​da nessuna parte.

Abbiamo già un po 'della tecnologia per questo. Il nostro termine per ricordare le letture dei sensori in ciascun punto di esposizione è "video" e ciò che stai chiedendo è la ricostruzione di un'immagine fissa ottimale da più fotogrammi video.

Per una panoramica del lavoro di Microsoft Research su questo, iniziare qui: http://research.microsoft.com/en-us/um/redmond/groups/ivm/multiimagefusion/

Per un esempio disponibile, vedere l'app Synthcam, che può essere utilizzata per ridurre il rumore in condizioni di scarsa luminosità combinando i fotogrammi video ripresi con una fotocamera del telefono: https://sites.google.com/site/marclevoy/

Questo è molto lontano dalla pratica per la fotografia di tutti i giorni, ma è concepibile che le future fotocamere riprendano molti fotogrammi di video ad alta definizione e ad alta frequenza di fotogrammi consentendo al fotografo di ottenere il risultato desiderato selezionando e combinando in seguito.

Aggiornamento di fine 2016: quando ho scritto la risposta originale, questa era in qualche modo dal mercato. Alla fine del 2016 sembra molto più vicino. L' app "See In The Dark" di Marc Levoy integra più frame video con stabilizzazione su uno smartphone consumer per produrre immagini utilizzabili al chiaro di luna. Vedi anche la fotocamera Light L16 , che integra più piccoli sensori in una singola immagine.

La domanda originale si basa su un'ipotesi errata (sul sensore digitale che non cambia stato durante l'esposizione) ma il concetto è correlato all'idea del sensore di immagine Quanta (QIS) ricercata da Eric Fossum .

http://engineering.dartmouth.edu/research/advanced-image-sensors-and-camera-systems/

Il QIS è un cambiamento rivoluzionario nel modo in cui raccogliamo le immagini in una macchina fotografica che viene inventata a Dartmouth. Nel QIS, l'obiettivo è contare ogni fotone che colpisce il sensore di immagine e fornire una risoluzione di 1 miliardo o più fotoelementi specializzati (chiamati jot) per sensore e leggere gli aerei dei bit di jot centinaia o migliaia di volte al secondo risultanti in terabit / sec di dati.

Tale dispositivo sarebbe (citando la domanda)

"ricorda" quali erano le letture del sensore in ogni punto di esposizione

e disponendo del set di dati completo, ad esempio, potremmo "modificare" il tempo di esposizione effettivo dopo l'acquisizione della "fotografia".

Oggi questo può essere approssimato registrando un video e combinando i fotogrammi in postprocesso per simulare tempi di esposizione più lunghi (limitati dalle prestazioni della fotocamera, dalla risoluzione della modalità video e dalla velocità dell'otturatore, ma mostra l'idea)

Se il QIS funziona come promesso, introdurrebbe anche altre fantastiche funzioni, come migliori prestazioni in condizioni di scarsa illuminazione, maggiore gamma dinamica, nessun aliasing, sensibilità completamente personalizzabile (ad esempio simile a un film), nessuna impostazione ISO, risoluzione regolabile rispetto al rumore

Annuncio recente: http://phys.org/news/2015-09-breakthrough-photography.html

Il film cambia fisicamente nel periodo di tempo in cui viene esposto. Un sensore digitale, tuttavia, non lo fa; sta solo leggendo i dati.

Dipende molto dal tipo di sensore. Il tipo di sensori CMOS utilizzati nelle DSLR di oggi accumula una carica elettrica in ciascun pixel nel tempo, quindi, di fatto, cambia nel tempo proprio come fa il film. Se non funzionassero in questo modo, l'immagine esisterebbe solo fino a quando l'otturatore fosse aperto. Anche i sensori CCD (l'altra tecnologia comune per i sensori di immagine nelle fotocamere) funzionano in questo modo, accumulando luce nel tempo.

C'è qualche motivo per cui la fotocamera non è stata in grado di "ricordare" quali erano le letture del sensore in ogni punto di esposizione?

Questo è esattamente ciò che fa la fotocamera quando registra un'immagine. Penso che ciò che vuoi dire sia che se il sensore è in grado di leggere l'intensità della luce istantanea, allora puoi regolare l'esposizione dopo il fatto a qualunque valore tu voglia. Come spiegato sopra, non è così che funziona la maggior parte dei sensori di immagine. D'altra parte, noi possiamo e spesso facciamo regolare l'esposizione un po 'in post-elaborazione.

Se l'archiviazione dei dati non era un problema, c'è qualche motivo per cui questa non potrebbe essere la norma, almeno per la fotografia professionale e artistica?

Per quanto riguarda "ricordare" i dati del sensore, è la norma per molti fotografi. La maggior parte delle fotocamere consente di registrare immagini in formato "RAW", e questo è praticamente il dato che viene letto dal sensore più un po 'più di dati su quali erano le impostazioni della fotocamera in quel momento. Le immagini RAW occupano molto più spazio rispetto ad altri formati come JPEG, ma offrono al fotografo la libertà di reinterpretare i dati in un secondo momento, quindi è possibile modificare facilmente impostazioni come la temperatura del colore e il bilanciamento del bianco in post-elaborazione.

Altri hanno già spiegato perché questo non funzionerà, tecnicamente. Voglio toccare perché non funzionerebbe praticamente .

Se l'archiviazione dei dati non era un problema, c'è qualche motivo per cui questa non potrebbe essere la norma, almeno per la fotografia professionale e artistica?

Considera l'entità delle diverse condizioni di illuminazione di cui potremmo voler scattare fotografie. Anche ignorando gli estremi come l'astrofotografia (dove spesso fotografi piccoli granelli di luce circondati da un nero quasi totale), hai ancora la fotografia terrestre di sera o di notte e paesaggi invernali innevati e illuminati. Userò questi ultimi due come esempi.

Inoltre, suppongo che, al fine di ricreare accuratamente qualsiasi esposizione desiderata, dobbiamo esporre il sensore al punto di piena saturazione.

Inoltre, suppongo che possiamo leggere i valori del sensore in modo non distruttivo. (Questo è probabilmente uno di quei problemi che rientrano nella categoria "buttare abbastanza soldi al problema e potrebbe essere risolvibile".)

Nel caso della fotografia notturna, avremmo bisogno di esporre il sensore per molto tempo per saturare tutti i pixel, il che significa che qualsiasi foto, indipendentemente da ciò che effettivamente vogliamo una foto, impiegherà assurdamente molto tempo per scattare. La classica immagine turistica dei ballerini in un bar all'aperto diventa quasi impossibile perché, beh, potresti essere in grado di scattare alcuni di quelli durante un'intera serata. Non bene. Quindi non possiamo esporre alla saturazione, almeno non indiscriminatamente. (L'esposizione a una percentuale di pixel saturi è ugualmente inutile, ma per diversi motivi; prova a ottenere l'esposizione esattamente corretta quando scatti una fotografia di un camino con un fuoco che brucia al suo interno. È quasi impossibile; non importa quanto ci provi, alcuni i pixel saranno esagerati o enormi parti dell'immagine saranno orribilmente sottoesposte).

Quando si fotografa un paesaggio coperto di neve, come una vista invernale durante il giorno quando il sole è fuori, l'esposizione a cui mira il sistema di esposizione automatica della fotocamera ("18% grigio") è terribilmente inadeguata. Ecco perché spesso vedi foto di neve che sono scure e in cui la neve appare più di un grigio chiaro che bianco. Per questo motivo, utilizziamo spesso un'impostazione di compensazione dell'esposizione positiva che fa sì che la neve sia esposta come un bianco quasi saturo. Tuttavia, ciò significa che non possiamo fare affidamento sul sistema AE della fotocamera per determinare quando terminare l'esposizione: in tal caso, tali immagini saranno invariabilmente sottoesposte .

In altre parole, l'esposizione alla piena saturazione è poco pratica in molti casi e l'esposizione per rendere felice il sistema AE è inadeguata in molti casi. Ciò significa che il fotografo dovrà ancora fare una sorta di scelta e , a quel punto, saremo almeno altrettanto lontani da ciò a cui siamo abituati e ai quali i fotografi sono abituati, rendendo i sistemi AE migliori e dando al fotografo facile ( più facile?) accesso alle impostazioni di compensazione dell'esposizione. Aumentando la gamma dinamica praticamente utilizzabile del sensore, possiamo consentire (anche) una maggiore latitudine alle variazioni di esposizione in post-elaborazione; le reflex digitali originali erano orribilmente costose, ma davvero orribili in questo senso rispetto ai modelli entry-level di oggi.

Tutto ciò può essere fatto pienamente nel quadro di ciò che già abbiamo. Questo non vuol dire che migliorare notevolmente la gamma dinamica utilizzabile del sensore sia facile , ma probabilmente è molto più semplice di quello che stai proponendo, ed è un problema su cui i fornitori hanno esperienza di lavoro.

I professionisti, quasi per definizione, sanno usare le attrezzature del loro mestiere. Non è affatto diverso se sono fotografi o piloti di navette spaziali . Soprattutto quando può essere fatto senza causare sovraccarico di informazioni, di solito è meglio dare all'utente il pieno controllo delle attrezzature professionali. A mio avviso, le attuali DSLR di fascia alta sono abbastanza brave a colpire il punto debole su questo.

Semplifichiamo il problema per capire perché dovremo sempre scendere a compromessi.

Inventiamo la fotocamera che desideri, ma con un solo pixel monocromatico. Deve essere in grado di ricevere e notificare in modo affidabile il processore della ricezione di un singolo fotone. Deve anche essere in grado di ricevere e notificare al processore la ricezione di, in pratica, infiniti fotoni infiniti.

Il primo caso in una situazione in cui non c'è luce. Il secondo nel caso di una moderata quantità di luce.

Il problema principale è che semplicemente non abbiamo la tecnologia per creare un sensore con una gamma dinamica così ampia. Dobbiamo sempre scendere a compromessi e in questo momento stiamo compromettendo selezionando una gamma più alta in cui il sensore può accettare fotoni quasi infiniti e darci una lettura che suggerisce una quantità relativa di luce che colpisce il sensore. Non li conta affatto, ma agisce come fanno i nostri occhi: forniscono semplicemente un output relativo alla quantità di fotoni che li colpiscono, senza tentare di contare i fotoni.

Ciò è ulteriormente complicato dal fatto che questo viene raccolto nel tempo.

Un sensore ideale sarebbe in realtà più simile a un contatore geiger - misurare il tempo tra i fotoni per darci una misurazione quasi istantanea della quantità di luce che cade sul sensore, supponendo che i fotoni siano spaziati relativamente uniformemente (il che non è vero, ma è un presupposto conveniente e perché i contatori Geiger si aggirano nel tempo proprio come fanno le telecamere).

I sensori quantistici avrebbero essenzialmente lo stesso problema. Certo, possono percepire un singolo fotone, ma a un certo punto stanno arrivando abbastanza velocemente da non poter semplicemente misurare il tempo tra di loro o addirittura contare quanti ne stanno arrivando per periodo di esposizione.

Quindi abbiamo questo compromesso che richiede di prendere diverse immagini di diverse esposizioni o di aggiungere più immagini della stessa alta esposizione insieme per stuzzicare le aree di scarsa luminosità o dividere la luce in arrivo in due o più percorsi con diversi sensori di diversa dinamica portata o costruire sensori in grado di raggruppare i pixel o impilare i sensori di luce, oppure, o, o - ci sono letteralmente migliaia di modi in cui i fotografi hanno superato questo problema di base nel corso dei decenni con un'ampia varietà di supporti.

È una limitazione fisica che non è probabile che venga superata. Non avremo mai una macchina fotografica * senza input da parte del fotografo che consente di prendere tutte le decisioni in fase di post-elaborazione.

* _{Naturalmente, se cambi la definizione di fotocamera, potresti essere soddisfatto dei risultati di qualche altro processo, ma questo è in gran parte soggettivo. La realtà è che se immagini una scena con la tua fotocamera, quindi mostri la scena a una persona, quindi l'immagine che hai scattato, percepiranno le differenze dovute a differenze intrinseche tra i loro occhi, il tuo sensore di immagine e il processo che hai usato per stampare l'immagine. La fotografia riguarda tanto l'interpretazione e l'arte quanto lo è catturare la luce, quindi probabilmente una focalizzazione fanatica sulla "macchina fotografica perfetta" non è molto utile.}