Perché le telecamere non offrono più di 3 canali di colore? (O lo fanno?)


40

Attualmente, la maggior parte (tutte?) Le telecamere disponibili in commercio catturano la luce in tre canali di colore: rosso, verde e blu. Mi sembra che sarebbe molto utile avere una fotocamera con una gamma e una risoluzione spettrali maggiori, e quindi mi chiedo perché non siano disponibili fotocamere che catturano più di tre canali di colore.

Cosa intendo esattamente?

Ci sono state alcune domande nei commenti (poiché cancellati) su cosa intendevo dire, quindi vorrei dare una spiegazione migliore. La luce visibile varia da una lunghezza d'onda di circa 390-700 nm. Esiste un numero infinito di lunghezze d'onda tra questi due punti finali, ma l'occhio ha una capacità molto limitata di distinguerli, poiché ha solo tre fotorecettori di colore. Le curve di risposta per questi sono mostrate nella parte (a) della figura seguente. ( Versione più grande .) Questo ci consente di vedere colori diversi a seconda della frequenza della luce, poiché la luce a bassa frequenza avrà un effetto maggiore sui recettori blu e la luce ad alta frequenza avrà un effetto maggiore sui recettori rossi.

inserisci qui la descrizione dell'immagine

Un sensore digitale in una fotocamera funziona avendo i filtri davanti ai suoi pixel e di solito ci sono tre tipi di filtri. Questi sono scelti con curve di risposta il più vicino possibile alla figura (a) sopra, per imitare ciò che l'occhio umano vede.

Tuttavia, tecnologicamente parlando non c'è motivo per cui non siamo riusciti ad aggiungere un quarto tipo di filtro, ad esempio con un picco tra il blu e il verde, come mostrato nella figura (b). Nella prossima sezione spiegherò perché ciò sarebbe utile per la post-elaborazione delle fotografie, anche se non corrisponde a tutto ciò che l'occhio può vedere.

Un'altra possibilità sarebbe quella di aggiungere canali aggiuntivi nell'infrarosso o nell'ultravioletto, come mostrato nella figura (c), estendendo la gamma spettrale della telecamera. (Questo sarà probabilmente tecnicamente più impegnativo.)

Infine, una terza possibilità sarebbe quella di dividere la gamma di frequenze ancora più finemente, producendo una fotocamera con un'alta risoluzione spettrale. In questa versione, i soliti canali RGB dovrebbero essere costruiti in software partendo dai dati più dettagliati prodotti dal sensore.

La mia domanda è sul perché le DSLR non offrono comunemente nessuna di queste opzioni oltre a (a), e se ci sono telecamere disponibili che offrono una qualsiasi delle altre. (Sto chiedendo del tipo di fotocamera che useresti per scattare una foto - so che ci sono strumenti scientifici che offrono questo tipo di funzionalità.)

Perché questo sarebbe utile?

Ho giocato con la modifica di foto in bianco e nero, da scatti a colori realizzati con la mia reflex digitale. Trovo questo processo interessante perché quando si modifica una foto in bianco e nero i tre canali RGB diventano fonti di dati sulla scena. I colori reali che rappresentano sono in qualche modo quasi irrilevanti: il canale blu è utile soprattutto perché gli oggetti nella scena differiscono per la quantità di luce che riflettono in quella gamma di lunghezze d'onda e per il fatto che corrisponde a ciò che l'occhio umano vede come "blu" è molto meno rilevante.

Avere i tre canali offre molta flessibilità nel controllo dell'esposizione di diversi aspetti dell'immagine finale in bianco e nero. Mi è venuto in mente che un quarto canale di colore avrebbe dato ancora più flessibilità, e quindi mi chiedo perché una cosa del genere non esista.

Canali di colore extra sarebbero utili per la fotografia a colori e in bianco e nero e per lo stesso motivo. Costruiresti semplicemente ciascuno dei canali RGB nello stesso modo in cui costruisci ora un'immagine in bianco e nero, combinando i dati provenienti da canali diversi che rappresentano la luce di diversi intervalli di frequenza. Per la maggior parte degli scopi ciò verrebbe fatto automaticamente nel software, ma offrirebbe molta più flessibilità in termini di opzioni di post-elaborazione.

Come semplice esempio di come ciò possa essere utile, sappiamo che le piante sono molto riflettenti nel vicino infrarosso. Questo fatto viene spesso utilizzato per generare sorprendenti colpi di effetti speciali, in cui le piante sembrano di colore bianco brillante. Tuttavia, se nel tuo software di modifica l'immagine a infrarossi fosse un quarto canale, sarebbe disponibile per l'elaborazione delle immagini a colori, ad esempio modificando l'esposizione di tutte le piante nell'immagine, lasciando solo meno oggetti IR-riflettenti.

Nel caso dell'infrarosso capisco che ci sono ragioni fisiche per cui è difficile realizzare un sensore che non sia sensibile all'IR, quindi i sensori digitali di solito hanno un filtro di blocco IR davanti a loro. Ma dovrebbe essere possibile realizzare un sensore con una maggiore risoluzione spettrale nella gamma visibile, che consentirebbe gli stessi tipi di vantaggio.

Si potrebbe pensare che questa funzionalità sarebbe meno utile nell'era dell'elaborazione digitale, ma in realtà penso che sarebbe diventata una realtà in questo momento. I limiti di ciò che puoi fare digitalmente sono stabiliti dai dati disponibili, quindi immagino che una maggiore quantità di dati spettrali consentirebbe tecniche di elaborazione che non possono esistere affatto senza di essa.

La domanda

Vorrei sapere perché questa funzione non sembra esistere. Esiste un'enorme sfida tecnica nel realizzare un sensore con quattro o più canali di colore o la ragione è più legata alla mancanza di domanda per una tale funzione? I sensori multicanale esistono come sforzo di ricerca? O ho semplicemente torto su quanto sarebbe utile?

In alternativa, se esiste (o ha in passato), quali telecamere lo hanno offerto e quali sono gli usi principali? (Mi piacerebbe vedere immagini di esempio!)


Ciao a tutti, c'è stata una grande quantità di discussioni nei commenti qui, più che sufficienti per attivare i sistemi automatici. Se vuoi entrare in una discussione sulle domande e / o risposte, ti preghiamo di portarlo nella nostra chat room. Grazie.
John Cavan,

Domanda correlata (ma diversa) : perché utilizziamo semplicemente RGB anziché i filtri per tutte le lunghezze d'onda
Karan Karan,

Ciò per cui sarebbe utile offrire opzioni migliori per affrontare i problemi causati da alcuni tipi moderni di apparecchi di illuminazione ...
rackandboneman

Risposte:


32

Perché le telecamere non offrono più di 3 canali di colore?

Costa di più produrre (produrre più di un tipo di cosa costa di più) e non offre quasi alcun vantaggio (commerciabile) rispetto a Bayer CFA.

(O lo fanno?)

Loro fecero. Diverse fotocamere, comprese quelle in commercio, disponevano di filtri RGBW (RGB + bianco) RGBE (RGB + smeraldo), CYGM (ciano giallo verde magenta) o CYYM (ciano giallo giallo magenta).

Mi sembra che sarebbe molto utile avere una fotocamera con una gamma e una risoluzione spettrali maggiori, e quindi mi chiedo perché non siano disponibili fotocamere che catturano più di tre canali di colore.

Il numero di canali non è direttamente correlato all'intervallo spettrale.

Esiste un'enorme sfida tecnica nel realizzare un sensore con quattro o più canali di colore o la ragione è più legata alla mancanza di domanda per una tale funzione?

La mancanza di domanda è un fattore decisivo.

Inoltre i filtri CYYM / CYGM causano un aumento del rumore cromatico perché richiedono operazioni aritmetiche con coefficienti elevati durante la conversione. La risoluzione della luminanza può essere migliore, a costo del rumore cromatico.

I sensori multicanale esistono come sforzo di ricerca? O ho semplicemente torto su quanto sarebbe utile?

Ti sbagli in quel campo spettrale sarebbe più grande con più canali, hai ragione in quel quarto canale che fornisce una serie di tecniche di elaborazione interessanti sia per il colore che per il monotono.

In alternativa, se esiste (o ha in passato), quali telecamere lo hanno offerto e quali sono gli usi principali?

Sony F828 e Nikon 5700 per esempio, loro e pochi altri sono persino disponibili di seconda mano. Sono telecamere di uso comune.


È anche interessante sapere che la gamma spettrale è limitata non solo dallo specchio caldo presente nella maggior parte delle fotocamere ma con la sensibilità dei fotodiodi che compongono il sensore. Non so quale tipo di fotodiodi sia esattamente utilizzato nelle telecamere di consumo, ma ecco un grafico esemplare che mostra la limitazione dei semiconduttori:

Confronto di semiconduttori fotosensibili


Per quanto riguarda il software che può essere utilizzato per estrarre il quarto canale: è probabilmente dcrawma dovrebbe essere modificato e ricompilato per estrarre solo un canale.

C'è una matrice 4x3 per F828 in dcraw.ccui si utilizza il quarto canale. Ecco un'idea: { 7924,-1910,-777,-8226,15459,2998,-1517,2199,6818,-7242,11401‌​‌​,3481 }- questa è la matrice in forma lineare, molto probabilmente ogni quarto valore rappresenta lo Smeraldo. Lo trasformi in questo: { 0,0,0,8191,0,0,0,0,0,0,0,0 }(non so quale numero dovrebbe essere lì invece di 8191, fai una congettura), ricompila e l'immagine di output ottiene il canale Emerald dopo aver smantellato nel canale rosso (se capisco correttamente le fonti).


I commenti non sono per una discussione estesa; questa conversazione è stata spostata in chat .
John Cavan,

3
Euri, c'erano alcune informazioni super utili nei tuoi commenti su dcraw ecc., Ora spostati nella chat room. C'è qualche possibilità che tu possa modificarlo nella tua risposta per i posteri?
Nathaniel,

16

Alcune note di questo ingegnere di sistemi ottici di lunga data. In primo luogo, ci sono cose chiamate telecamere "iperspettrali" che usano reticoli o equivalenti per spezzare la luce in arrivo in dozzine o addirittura un paio di centinaia di canali di colore (lunghezza d'onda). Questi come potresti immaginare non sono usati, o utili, per produrre foto a colori in sé, ma sono ottimi per distinguere le linee spettrali a banda stretta emesse o riflesse da materiali specifici. i geologi, ad esempio, li usano per identificare i depositi di minerali usando una telecamera iperspettrale montata su un aereo.

Successivamente, c'è un'enorme differenza tra i colori prodotti da ogni singola lunghezza d'onda (energia del fotone) e i colori che i nostri occhi percepiscono. Abbiamo tre, o per alcuni fortunati, quattro coni diversi, ognuno con curve di risposta spettrali diverse. Puoi trovare queste curve su tutta la rete, inclusa la prima immagine su quella pagina di Wikipedia. Successivamente, la gamma di colori / tonalità che percepiamo copre un'intera mappa , mentre i colori prodotti da ogni singola lunghezza d'onda del fotone formano una linea nell'area di quella mappa.

Qualsiasi numero di esperimenti, compresi alcuni spettacolari condotti da Edwin Land, hanno dimostrato che la miscelazione di RGB è sufficiente per consentire all'occhio di ricostruire tutti i possibili colori della visione. (In realtà, risulta che saranno sufficienti solo due colori più una rappresentazione in scala di grigi di un altro . L'elaborazione ottica nel cervello è davvero strana)


11

I sensori per fotocamere RGB sono così popolari perché riproducono la visione umana

Questo è ciò di cui la maggior parte delle persone ha bisogno: creare foto che assomiglino a ciò che vediamo.

La sostituzione di subpixel RGB con tipi di filtri più diversi per distinguere più bande con una migliore risoluzione spettrale funzionerebbe ma:

  • solo per un unico scopo . Tutti hanno bisogno approssimativamente degli stessi filtri RGB per fare foto decenti, ma ci sono un numero illimitato di possibili bande spettrali che potrebbero essere utili per qualcuno. Non è possibile creare una fotocamera universale in questo modo.

  • ridurrebbe la sensibilità complessiva del sensore . Ogni dato subpixel è inutile per tutta la luce ad eccezione della banda stretta che accetta. Più filtri = più luce sprecata.

Quindi, invece di creare sensori strettamente specializzati, è meglio avere un sensore senza filtri integrati e scambiare semplicemente i filtri durante l'acquisizione delle immagini. In questo modo l'intera area del sensore viene utilizzata con ciascun filtro, non solo una piccola frazione con il subpixel corrispondente.


1
Questo non è strettamente vero, 3 colori primari non possono fornire tutte le tonalità che un essere umano può vedere. Se guardi il diagramma di cromaticità CIE sembra un po 'triangolare, ma quando vedi un pratico triangolo RGB inscritto all'interno vedi solo quanti colori ti mancano. Un quarto primario nell'area blu-verde creerebbe un quadrilatero con forse il 20% in più di colori.
Mark Ransom,

PS, l'unica ragione per cui le persone sono soddisfatte di RGB è che i colori al di fuori della gamma tipica sono più rari di quelli che RGB è in grado di riprodurre.
Mark Ransom,

1
In che modo il filtro Bayer non limiterebbe lo spazio colore a un triangolo proprio come fa un display? È un argomento che non credo abbia abbastanza attenzione; non viene mai menzionato quando si parla, ad esempio, delle differenze tra i chip dei sensori.
Mark Ransom,

1
la stessa domanda si applica alla retina umana che ha solo 3 tipi di "filtri" - e la risposta è, immagino, che la visualizzazione e il rilevamento siano animali diversi! forse, a differenza dei display, in cui le gamut si combattono, è persino così noioso e facile che nessuno ne parla.
szulat,

1
@MarkRansom parli della visualizzazione o della registrazione? C'è un'enorme differenza. Lo spazio XYZ è uno spazio tristimolo e le sue cromaticità hanno coordinate su quel grafico che ho chiamato. Qui è raffigurato (quello esterno, ombreggiato).
Euri Pinhollow,

2

Ci sono tre sensori di colore nell'occhio umano. I loro profili spettrali sono ampi e si sovrappongono. Ognuno di essi invia segnali nervosi al cervello in cui l'input viene interpretato come colore. Il commento nella risposta precedente sull'elaborazione del cervello che è strano è corretto. In questo caso sono necessari solo 3 stimoli per un determinato colore. Guarda l'articolo di Wikipedia sulla visione dei colori per maggiori dettagli.


0

Ci sono state anche telecamere multispettrali con canali aggiuntivi per luce IR e UV ma non come prodotto di consumo.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.