Perché è ancora necessario un filtro antialiasing fisico sulle moderne DSLR?

Comprendo che lo scopo del filtro antialiasing (AA) è prevenire la moiré. Quando sono emerse per la prima volta le fotocamere digitali, era necessario un filtro AA per creare una sfocatura sufficiente per prevenire i modelli di moiré. A quel tempo la potenza dei processori della fotocamera era molto limitata. Ma perché è ancora necessario posizionare un filtro AA sul sensore nelle moderne fotocamere DSLR? Ciò non potrebbe essere realizzato con la stessa facilità dagli algoritmi applicati quando l'output dal sensore viene demosurato?Sembrerebbe che l'attuale potenza di elaborazione disponibile nella fotocamera lo consentirebbe ora molto più di qualche anno fa. L'attuale processore Digic 5+ di Canon ha una potenza di elaborazione 100 volte superiore a quella del processore Digic III, che riduce la potenza delle prime fotocamere digitali. Soprattutto quando si riprendono file RAW, la sfocatura AA non può essere eseguita nella fase di post-elaborazione? È questa la premessa di base della Nikon D800E, anche se utilizza un secondo filtro per contrastare il primo?

L'aliasing è il risultato della ripetizione di schemi di circa la stessa frequenza che interferiscono l'uno con l'altro in modo indesiderato. Nel caso della fotografia, le frequenze più alte dell'immagine proiettata dall'obiettivo sul sensore creano un modello di interferenza (moiré in questo caso) con la griglia di pixel. Questa interferenza si verifica solo quando tali frequenze sono all'incirca uguali o quando la frequenza di campionamento del sensore corrisponde alla frequenza wavelet dell'immagine. Questo è il limite di Nyquist. Nota ... questo è un problema analogico ... il moiré si verifica a causa di interferenze che si verificano in tempo reale nel mondo reale prima che l'immagine venga effettivamente esposta.

Una volta esposta l'immagine, quel modello di interferenza viene effettivamente "inserito". È possibile utilizzare il software in una certa misura per ripulire i modelli moiré in post, ma è minimamente efficace rispetto a un filtro passa basso fisico (AA) davanti al sensore. La perdita di dettaglio dovuta a moiré può anche essere maggiore di quella persa con un filtro AA, poiché moiré è in realtà un dato senza senso, in cui i dettagli leggermente sfocati potrebbero essere ancora utili.

Un filtro AA è progettato per offuscare quelle frequenze su Nyquist in modo che non creino schemi di interferenza. Il motivo per cui abbiamo ancora bisogno dei filtri AA è perché i sensori di immagine e gli obiettivi sono ancora in grado di risolversi alla stessa frequenza. Quando i sensori migliorano al punto in cui la frequenza di campionamento del sensore stesso è costantemente più alta rispetto persino ai migliori obiettivi con la loro apertura ottimale, la necessità di un filtro AA diminuisce. L'obiettivo stesso gestirà efficacemente la sfocatura necessaria per noi e i modelli di interferenza non emergerebbero mai in primo luogo.

La fisica semplicemente non funziona in questo modo. L'aliasing trasforma irreversibilmente le frequenze oltre il limite di Nyquist per apparire come frequenze al di sotto del limite, anche se quegli "alias" non sono realmente presenti. Nessuna quantità di elaborazione di un segnale con alias può recuperare il segnale originale nel caso generale. Le fantasiose spiegazioni matematiche sono piuttosto lunghe da approfondire a meno che tu non abbia una classe nella teoria del campionamento e nell'elaborazione del segnale digitale. Se l'avessi fatto, non avresti fatto la domanda. Sfortunatamente, la risposta migliore è semplicemente "Non è così che funziona la fisica. Mi dispiace, ma dovrai fidarti di me su questo." .

Per provare a dare una sensazione approssimativa che quanto sopra potrebbe essere vero, considera il caso di una foto di un muro di mattoni. Senza un filtro AA, ci saranno modelli di moiré (che in realtà sono gli alias) che rendono le linee di mattoni ondulate. Non hai mai visto il vero edificio, solo l'immagine con le linee ondulate.

Come fai a sapere che i veri mattoni non sono stati disposti in uno schema ondulato? Si assume che non erano dalla conoscenza generale di mattoni e l'esperienza umana del vedere muri di mattoni. Tuttavia, qualcuno potrebbe semplicemente fare un punto deliberatamente fare un muro di mattoni in modo che sembrasse nella vita reale (se visto con i tuoi occhi) come l'immagine? Sì, potevano. Pertanto, è possibile distinguere matematicamente un'immagine con alias di un normale muro di mattoni e un'immagine fedele di un muro di mattoni deliberatamente ondulato? No non lo è. In realtà, non puoi nemmeno dire la differenza, tranne per il fatto che la tua intuizione su ciò che un'immagine probabilmente rappresenta può darti l'impressione che puoi. Ancora una volta, a rigor di termini non si può dire se le onde sono artefatti moiré o sono reali.

Il software non può rimuovere magicamente le onde perché non sa cosa è reale e cosa non lo è. Matematicamente si può dimostrare che non può saperlo, almeno guardando solo l'immagine ondulata.

Un muro di mattoni può essere un caso ovvio in cui puoi sapere che l'immagine con alias è sbagliata, ma ci sono molti altri casi sottili in cui davvero non lo sai e potresti anche non essere consapevole che l'aliasing sta succedendo.

Aggiunto in risposta ai commenti:

La differenza tra aliasing di un segnale audio e di un'immagine è solo che il primo è 1D e il secondo 2D. La teoria e qualsiasi matematica per realizzare effetti è sempre la stessa, solo che viene applicata in 2D quando si tratta di immagini. Se i campioni si trovano su una griglia rettangolare regolare, come in una fotocamera digitale, sorgono altri problemi interessanti. Ad esempio, la frequenza di campionamento è sqrt (2) inferiore (circa 1,4x inferiore) lungo le direzioni diagonali applicate alle direzioni allineate agli assi. Tuttavia, la teoria del campionamento, la frequenza di Nyquist e ciò che sono realmente gli alias non differiscono in un segnale 2D rispetto a un segnale 1D. La differenza principale sembra essere che questo può essere più difficile per coloro che non sono abituati a pensare nello spazio delle frequenze per avvolgere la mente e proiettare ciò che tutto ciò significa in termini di ciò che vedi in un'immagine.

Ancora una volta, no, non è possibile "demosaico" un segnale dopo il fatto, almeno non nel caso generale in cui non si sa quale dovrebbe essere l'originale. I pattern moiré causati dal campionamento di un'immagine continua sono alias. La stessa matematica si applica a loro così come si applica all'alias delle alte frequenze in un flusso audio e che suona come fischi di sottofondo. È la stessa roba, con la stessa teoria per spiegarla e la stessa soluzione per affrontarla.

Tale soluzione è eliminare le frequenze al di sopra del limite di Nyquist prima del campionamento. Nell'audio che può essere eseguito con un semplice filtro passa-basso, è possibile creare un resistore e un condensatore. Nel campionamento delle immagini, hai ancora bisogno di un filtro passa-basso, in questo caso sta prendendo parte della luce che colpirebbe solo un singolo pixel e lo diffonderebbe ai pixel vicini. Visivamente, questo sembra un leggero offuscamento dell'immagine primaè campionato. I contenuti ad alta frequenza sembrano dettagli fini o spigoli vivi in ​​un'immagine. Al contrario, i bordi nitidi e i dettagli precisi contengono alte frequenze. Sono esattamente queste alte frequenze che vengono convertite in alias nell'immagine campionata. Alcuni alias sono quelli che chiamiamo modelli moiré quando l'originale aveva un contenuto regolare. Alcuni alias danno l'effetto "gradino della scala" a linee o spigoli, specialmente quando sono quasi verticali o orizzontali. Ci sono altri effetti visivi causati da alias.

Solo perché l'asse indipendente nei segnali audio è il tempo e gli assi indipendenti (due dei quali poiché il segnale è 2D) di un'immagine sono la distanza non invalida la matematica o in qualche modo la rende diversa tra segnali audio e immagini. Probabilmente perché la teoria e le applicazioni di aliasing e anti-aliasing sono state sviluppate su segnali 1D che erano tensioni basate sul tempo, il termine "dominio del tempo" è usato per contrastare il "dominio della frequenza". In un'immagine, la rappresentazione dello spazio senza frequenza è tecnicamente il "dominio della distanza", ma per semplicità nell'elaborazione del segnale viene spesso indicato come "dominio del tempo". Non lasciarti distrarre da ciò che è realmente l'aliasing. E no, non è affatto la prova che la teoria non si applica alle immagini, solo che a volte viene usata una scelta fuorviante di parole per descrivere le cose per ragioni storiche. In realtà, il collegamento "dominio del tempo" applicato al dominio non di frequenza delle immagini è in realtàperché la teoria è la stessa tra immagini e segnali reali basati sul tempo. L'aliasing è aliasing indipendentemente da quale sia l'asse (o gli assi) indipendente.

A meno che tu non sia disposto a approfondire questo a livello di un paio di corsi universitari sulla teoria del campionamento e l'elaborazione del segnale, alla fine dovrai solo fidarti di quelli che hanno. Alcune di queste cose non sono intuitive senza un significativo background teorico.

Non è possibile ottenere lo stesso effetto nel software. Puoi andare da qualche parte nelle vicinanze, date alcune ipotesi. Ma il filtro AA diffonde la luce in modo che colpisca più pixel di diversi colori dandoti informazioni che sono assenti dal sensore del filtro senza AA.

La Nikon D800E non fa assolutamente nulla per provare a replicare il filtro AA. Se nell'immagine ci sono schemi ad alta frequenza, ottieni la moiré e questo è il tuo problema: devi affrontarlo!

L'aliasing è peggiore quando la frequenza dei dettagli nell'immagine è molto vicina alla frequenza di campionamento. Per le fotocamere meno recenti con sensori a bassa risoluzione (e quindi campionamento a bassa frequenza) la moiré era un problema serio con molti tipi di dettagli dell'immagine, quindi i filtri AA erano forti (niente a che fare con una potenza di elaborazione limitata). Ora abbiamo frequenze di campionamento molto più alte, ci vogliono dettagli di immagine di frequenza molto più alta per far apparire moiré.

Alla fine le frequenze di campionamento saranno così elevate che i dettagli degli oggetti ad alta frequenza necessari non supereranno le aberrazioni dell'obiettivo e gli effetti di diffrazione, rendendo ridondante il filtro AA. Questo è in parte il motivo per cui alcuni dorsi MF non dispongono di un filtro AA, ad altissima risoluzione e ai fotografi di moda che amano scattare in f / 32 con giganteschi alimentatori Profoto che dimostrano l'illuminazione.

Queste sono tutte buone risposte e buone informazioni. Ho una spiegazione molto semplificata. Passiamo dal 2D al 1D (si applica lo stesso concetto).

Quando una frequenza colpisce il sensore che è superiore alla "frequenza massima consentita", in realtà creerà una frequenza speculare nella parte inferiore . Una volta che la tua immagine è stata campionata vedrai questo segnale più basso ma la fotocamera o il tuo computer non sanno se questo era un segnale più basso che era davvero lì o se era un alias creato da un segnale che era troppo alto. Questa informazione è persa. Questo è il motivo della "frequenza massima consentita" o della frequenza di nyquist. Dice che questa è la frequenza più alta che può essere campionata e al di sopra di essa le informazioni andranno perse.

un analogo all'audio: supponiamo che il tuo sistema sia impostato dove desideri una gamma di frequenze da 0hz a 1000hz. per lasciare un po 'di spazio in più si campiona a 3000Hz che rende il tuo Niquist 1500Hz. qui è dove entra il filtro aa. Non vuoi che entri nulla al di sopra di 1500Hz, in realtà il tuo cut-off inizierà subito dopo 1000Hz, ma ti assicuri che quando arrivi a 1500Hz che non è rimasto nulla.

supponiamo che tu dimentichi il filtro aa e permetti a un tono di 2500 hz di entrare nel tuo sensore. si speccherà attorno alla frequenza di campionamento (3000hz) in modo che il sensore rilevi un tono a 500 hz (3000hz - 2500hz). ora che il tuo segnale è campionato non saprai se la 500hz era effettivamente lì o se è un alias.

btw. le immagini speculari si verificano per tutte le frequenze ma non rappresentano un problema se non si è al di sopra del nyquist perché è possibile filtrarle facilmente in un secondo momento. il tono di input di esempio è 300 hz. avrai alias a (3000 - 300 = 2700hz [e per essere corretti anche 3000 + 300 = 3300hz]). tuttavia, poiché sai che stai considerando solo fino a 1000 hz, questi saranno facilmente rimossi. quindi di nuovo il problema sorge quando le immagini speculari entrano nello spettro che si desidera effettivamente, perché non si sarà in grado di dire la differenza e questo è ciò che significano per "cottura".

spero che sia di aiuto