Sarebbe utile un algoritmo demosaico per il bianco e nero?

11

Dato che lo scopo principale del demosaicing è di recuperare il colore nel modo più accurato possibile, ci sarebbe qualche vantaggio in un algoritmo demosaic "solo in bianco e nero"? Cioè, invece di recuperare prima il colore e poi convertire il bianco e nero, potrebbe essere meglio convertire il file RAW direttamente in bianco e nero?

Sono particolarmente interessato alla qualità dell'immagine (ad es. Gamma dinamica e nitidezza). Su una nota correlata, quali algoritmi di demosaicing comuni sono più suscettibili di conversione in bianco e nero?

black-and-white algorithms demosaicing

— Lars Kotthoff
fonte

2

Il colore è un fattore intrinseco di un'immagine RAW creata da un sensore a colori. Il problema per convertirlo in scala di grigi è che hai solo la luminanza per un singolo colore in un dato pixel. Non importa se tratti solo ogni pixel come un valore di luminanza o lo consideri come un valore di colore, ogni pixel rappresenta solo circa 1/3 della luminanza totale che era avvenuta sul pixel al momento dell'esposizione. Il "demosaicing" è davvero superfluo per le immagini in scala di grigi, tuttavia per ottenere immagini in scala di grigi ideali dovresti usare un sensore in scala di grigi ... senza il bayer a tutti!

— jrista

1

Per quanto riguarda quali algoritmi di demosaicing sono ideali per la conversione in bianco e nero quando si usa una telecamera a colori ... Direi la forma più semplice, la tua interpolazione quad standard. Molti altri algoritmi di demosaicing più avanzati sono progettati per ridurre al minimo l'effetto moiré e altri artefatti correlati al colore. Se tutto ciò che ti interessa è il B&W, l'interpolazione standard di 2x2 pixel manterrà il massimo dettaglio.

— jrista

2

@jrista Non sono sicuro del motivo per cui un'interpolazione ingenua preserverebbe più dettagli di uno degli algoritmi più avanzati che tentano di distinguere tra i cambiamenti di luminosità e intensità. In ogni caso, gli artefatti a colori possono essere visualizzati anche in immagini in bianco e nero a seconda di come viene eseguita la conversione.

— Matt Grum,

1

Bene, suppongo di basarmi principalmente su AHDD, che tende ad ammorbidire i dettagli. Almeno, l'implementazione in Lightroom produce risultati leggermente più morbidi rispetto all'algoritmo utilizzato da Canon DPP, che produce risultati molto nitidi e nitidi da un algoritmo di demosaicing più semplice (anche se immagino non sia semplice come il tuo 2x2 di base.)

— jrista

"Il confronto tra i metodi di demosaicing del colore" (Olivier Losson, Ludovic Macaire, Yanqin Yang) approfondisce molti dettagli su diversi algoritmi demosaici. Non si tratta solo di decodificare il colore, i migliori algoritmi tengono conto di tutte le informazioni circostanti per ottenere i migliori risultati su ciascun pixel. Non sono convinto che un decodificatore in scala di grigi dedicato possa fare di meglio.

— Mark Ransom,

8

Non è possibile convertire direttamente un file RAW in bianco e nero senza prima ripristinare il colore, a meno che il convertitore non prenda solo uno dei set di pixel R, G, B per produrre un'immagine. Questo approccio comporterebbe una sostanziale perdita di risoluzione.

Per non perdere la risoluzione quando si converte in bianco e nero, è necessario utilizzare tutti i pixel RG e B, il che significa implicitamente che devono essere eseguiti calcoli del colore, a quel punto è possibile utilizzare uno degli algoritmi di demosaicing del colore avanzati, quindi convertire il risultato in bianco e nero.

— Matt Grum
fonte

1

dimezzare la risoluzione senza una media ponderata dei quaderni estraendo un colore non sarebbe l'immagine in scala di grigi prevista in quanto sarebbe come mettere un filtro verde o rosso o blu su una fotocamera monocromatica. E una domanda filosofica: dividere ciascun asse per 2, ridurre il numero di MP per 4. Definirei questa mezza risoluzione. Ma sembri chiamare sqrt (2) per asse / 2 Mp count "mezza risoluzione". Quale definizione è tecnicamente corretta? Se la risoluzione è la capacità di risolvere, allora larghezza / 2 e altezza / 2 è metà risoluzione in un sistema 2D in cui si desidera preservare l'invarianza rotazionale?

— Michael Nielsen,

estensione del mio punto di vista sulla risoluzione Penso che MP non sia la risoluzione, è un numero di marketing fotografico. Come ingegnere di elaborazione delle immagini viene data una risoluzione come w X h.

— Michael Nielsen,

@MichaelNielsen Quale "immagine in scala di grigi prevista"? Esistono molti metodi diversi per convertire in scala di grigi, la domanda non specifica un approccio di ponderazione uguale. In secondo luogo, se si disponesse di un rivelatore lineare e si dimezzasse il numero di campioni, si dimezzerebbe il potere di risoluzione, ovvero la quantità massima di dettagli rilevabili, non si direbbe ridotto di un fattore di radice 2. Da ciò è logico che se hai un campo 2D di rivelatori (come un sensore di immagine) e dimezzi il numero di campioni in entrambe le direzioni, lasciandoti con un quarto, direi che la risoluzione è stata ridotta di un fattore 4

— Matt Grum

se si dimezza solo l'asse x o y, si hanno risoluzioni diverse in ciascuna direzione, vanificando così la capacità di contare una risoluzione totale in termini di Mp e calcolare un singolo fattore "/ 2 risoluzione". Ofc. gli obiettivi non hanno ugualmente una risoluzione uguale, ma i produttori di sensori sono abbastanza orgogliosi di annunciare che oggigiorno i loro pixel sono quadratici e quadrati, ottenendo così una risoluzione uguale su entrambe le direzioni, ciò significa una risoluzione di 640x = 480y. Guarda come il numero di pixel stesso non significa nulla. la risoluzione 640 è la STESSA risoluzione come 480.

— Michael Nielsen

2

Scala di grigi: non ho detto uguale ponderato. E so che ci sono molte diverse versioni in scala di grigi, ma posso scommettere che R, G o B non è uno di quelli previsti dall'OP. La più probabile è la versione 0.11 * b + 0.59 * g + .3 * r.

— Michael Nielsen,

8

È necessario un algoritmo demosaico anche se si converte un'immagine in bianco e nero.

Un motivo è abbastanza semplice, altrimenti si otterrebbero artefatti sub-pixel ovunque. È necessario rendersi conto che l'immagine registrata dal sensore è piuttosto confusa. Diamo un'occhiata all'esempio di Wikipedia :

demosaicizzazione

Ora immagina di non fare alcun demosaicing e di convertire semplicemente RAW in scala di grigi:

in scala di grigi

Bene ... vedi i buchi neri? I pixel rossi non hanno registrato nulla in background.

Ora, confrontiamo quello con l'immagine demosaiced convertita nella scala dei grigi (a sinistra):

normale vs rotto

In pratica perdi dettagli, ma perdi anche molti artefatti che rendono l'immagine insopportabile. Anche la demosaicing elusione delle immagini perde molto contrasto, a causa del modo in cui viene eseguita la conversione in bianco e nero. Infine, le sfumature dei colori che si trovano tra i colori primari potrebbero essere rappresentate in modi piuttosto inaspettati, mentre le grandi superfici di rosso e blu saranno in bianco 3/4.

So che è una semplificazione e potresti mirare a creare un algoritmo che sia semplicemente: più efficiente nella conversione RAW in B&W, ma il mio punto è che:

È necessaria un'immagine a colori calcolata per generare le sfumature di grigio corrette nella fotografia in bianco e nero.

Il buon modo di fare la fotografia in bianco e nero è rimuovere completamente la matrice di filtri colorati - come fece Leica in Monochrom - non cambiando la conversione RAW. Altrimenti ottieni artefatti, o false sfumature di grigio, o riduci la risoluzione o tutti questi.

Aggiungete a ciò un fatto che la conversione RAW-> Bayer-> B&W offre molte più opzioni per migliorare e modificare l'immagine, e avete una soluzione praticamente eccellente che può essere rovesciata solo dalla costruzione di sensori dedicati. Ecco perché non vedi convertitori RAW B&W dedicati che non ricadono nella demolizione da qualche parte nel processo.

— MarcinWolny
fonte

1

Le telecamere per la visione artificiale con filtri bayer possono fornire direttamente immagini in scala di grigi, ma lo fanno mediante il demosaicking, la conversione in YUV e l'invio solo del canale V (quelli che normalmente uso almeno). Se avessero un modo migliore bypassando questa ricostruzione del colore, penso che lo farebbero, dato che spingono costantemente i framerate (ad esempio, la tipica fotocamera che utilizzo funziona a 100FPS).

Se dovesse ignorare il demosaicking basato sul colore, potrebbe dimezzare la risoluzione e la media ponderata di ogni quadruplo 2x2, ma se si desidera la piena risoluzione è meglio utilizzare il normale algoritmo di demosaicking del colore che cerca di preservare meglio i bordi. Se sappiamo che vogliamo la scala dei grigi, otteniamo solo una telecamera monocromatica dall'inizio, schiaffeggiamo un filtro colore se cerchiamo un determinato colore, poiché questa impostazione è notevolmente superiore nella qualità dell'immagine, riducendo la necessità di un sovracampionamento della risoluzione, che a sua volta consente utilizzo di un sensore veloce a bassa risoluzione con pixel più grandi, che a sua volta fornisce un'immagine ancora migliore.

— Michael Nielsen
fonte

Hai scritto: "conversione in YUV e invio solo del canale V" Sicuramente intendi inviare il canale Y, poiché Y è il canale di luminanza.

— TopCat

1

L'effetto dei filtri di colore su ogni pixel bene nel livello Bayer è lo stesso della ripresa di pellicole in bianco e nero con filtri di colore sull'obiettivo: cambia la relazione dei livelli di grigio di vari colori nella scena che viene fotografata. Per ottenere un livello di luminanza accurato per tutti i colori della scena, i segnali di ciascun pixel devono essere sottoposti a demosaicing. Come altri hanno già detto, un sensore senza strato di Bayer produrrebbe un'immagine monocromatica che non deve essere demosazionata. Ciò dovrebbe comportare una migliore nitidezza dell'immagine se il cerchio di confusione dall'obiettivo è uguale o inferiore alla larghezza di ciascun pixel.

In termini pratici, ho notato diverse cose che convertono i file RAW in bianco e nero utilizzando Digital Photo Professional (DPP) di Canon.

La regolazione del bilanciamento del bianco può effettuare un cambiamento nella luminanza complessiva percepita allo stesso modo della regolazione del contrasto. Come tale, può essere utilizzato per ottimizzare il contrasto.
Il bilanciamento del bianco influirà anche sulla luminosità relativa di diversi colori nella scena. Può essere usato per mettere a punto l'applicazione degli effetti filtro "Arancione", "Giallo", "Rosso", ecc. Il rosso sembra essere il più colpito da questo ed è molto più scuro a 2500K che a 10000K. Sorprendentemente, almeno per me, è che i toni del blu non dimostrano il contrario.
Poiché per tutti gli scopi pratici non vi è alcun rumore di crominanza in una foto in bianco e nero, può essere lasciato su "0".
Lo strumento maschera non affilata darà molto più controllo sulla nitidezza rispetto al più semplice cursore "Nitidezza". Soprattutto se nell'immagine sono presenti pochi pixel "caldi" o "caldi", è possibile aumentare la nitidezza generale senza enfatizzarli.

Di seguito sono riportate due versioni della stessa esposizione scattata su una Canon 7D con un obiettivo EF 70-200mm f / 2.8L IS II e un teleconvertitore Kenco C-AF 2X Teleplus Pro 300. L'immagine è stata ritagliata a 1000X1000 pixel. Il primo è stato convertito utilizzando le impostazioni della fotocamera mostrate sotto di esso. Il secondo è stato modificato con le impostazioni mostrate nella schermata. Oltre alla scheda RAW, è stata applicata un'impostazione Riduzione rumore luminanza pari a 2, così come un valore di Aberrazione cromatica pari a 99.

Luna - inedita

Informazioni sulla fotocamera

Luna - modificata

impostazioni

— Michele C.
fonte

0

Vorrei proporre un algoritmo simile (presume che il tuo target sia bianco e abbia una temperatura di colore costante):

Demosaic RAW Bayer a RGB
Riduci il colore alla scala di grigi
Crea un LUT tra i valori di bayer grezzi e i valori in scala di grigi (questo dovrebbe essere eseguito una volta per piano di colore RGGB o RGB)
Utilizzare il filtro LUT per colore per trasformare il RAW Bayer direttamente in scala di grigi senza alcun filtro tra pixel

In teoria questo si avvicinerebbe ai risultati di un vero sensore monocromatico.

— Elliot Woods
fonte