Come funziona Super Resolution?


10

Scegliendo da questa domanda ho letto l'articolo di Wikipedia ma non riesco a capire perché impilare copie della stessa immagine l'una sull'altra dovrebbe migliorare la risoluzione dell'immagine?

Risposte:


13

Il processo è complicato ma questo dovrebbe dare un'intuizione a ciò che sta succedendo. Immagina di avere una normale fotocamera, ma con motori per spostare il sensore di mezzo pixel in qualsiasi direzione.

Invece di scattare un'immagine, questa fotocamera ne riprende quattro: una centrata, una spostata di mezzo pixel a destra, una spostata di mezzo pixel verso il basso e una spostata di mezzo pixel verso destra e mezzo pixel verso il basso.

Possiamo quindi prendere l'immagine centrata, renderla doppia, spaziando i pixel in questo modo:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

Quindi possiamo riempire gli spazi vuoti, usando le altre immagini spostate, 1, 2 e 3:

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

Lasciandoci con un'immagine del doppio della risoluzione. È interessante notare che ci sono fotocamere che impiegano questa tecnica - come Hasselblad H4D-200MS (scusate se dovete chiedere quanto non potete permettervene).

La super-risoluzione con una fotocamera standard è un po 'più complessa poiché quando si ha una fotocamera incontrollata o un movimento del soggetto non ci si avvicina esattamente a un preciso spostamento di mezzo pixel, ma a meno che non si sia estremamente sfortunati, l'immagine spostata sarà leggermente sfalsata rispetto all'originale. Combinando abbastanza immagini otterrai un'immagine campionata in modo molto irregolare (con campioni di pixel che non rientrano in una griglia) ma che può essere interpolata (tracciando le linee tra i campioni per indovinare un risultato che cade su una griglia esatta) in un'immagine normale.


1
È importante ricordare che il movimento non deve avvenire all'interno della fotocamera, ma può essere fatto spostando la fotocamera stessa. Ecco perché la super risoluzione funziona molto bene con i video, poiché la fotocamera avrà quasi sempre piccoli movimenti tra i fotogrammi.
Håkon K. Olafsen,

Questa pioviggine o dithering è ampiamente utilizzata con l'astrofotografia digitale. Molte singole immagini sono impilate per aiutare a ridurre il rumore inerente all'immagine mentre allo stesso tempo c'è la possibilità di recuperare dettagli e risoluzione significativi.
smigol,

e in che modo impilare più copie della stessa foto può farlo? Sono confuso perché dopo l'accatastamento dovrai allinearti e questo annullerà lo spostamento tra i pixel che sembra l'idea centrale dietro la super risoluzione
K ''

1
@AkramMellice - l'impilamento dello stesso non lo fa. Il software può essere utilizzato per esaminare e potenzialmente "compilare" le informazioni in base ad altre informazioni nell'immagine, ma sarebbe meno che perfetto ... Ad ogni modo, sarebbe incredibilmente fantastico se Pentax aggiungesse questa funzionalità, qualcosa di completamente possibile dato che il loro anti-shake è sul sensore ed è una variazione su come fanno l'astrotraccia con l'unità GPS.
John Cavan,

3

Considera che il sensore non è un dispositivo di acquisizione perfetto. Ogni pixel verrà registrato con una certa quantità di errore. Ad esempio, se il valore più preciso di un pixel è N, il sensore registrerà un valore compreso in un intervallo N-E to N+Eper un dato E. Perché un sensore buono Eè piccolo, un sensore cattivo ne avrà uno più grande E.

Si noti inoltre che su ogni esposizione un dato pixel presenterà un errore diverso, le celle nel sensore non hanno memoria, quindi un pixel che è uscito basso una volta potrebbe risultare alto nel successivo.

Quando prendi diverse esposizioni dello stesso soggetto e le fai una media insieme, stai effettivamente riducendo E. Per il nostro pixel di esempio sopra, calcolerai la media di un gruppo di valori diversi che sono tutti intorno a uno sconosciuto N, quindi la media ti avvicinerà a quell'ideale N.


3
Non si tratta solo di ridurre l'errore - in realtà in questo caso non si riduce MAINAMENTE l'errore - sta ottenendo PIÙ informazioni acquisendo ripetutamente gli stessi dati nominalmente e cercando informazioni extra che sono presenti con una risoluzione più fine del passo del sensore. Aggiungere un po 'di meccanica al sensore tra i colpi e poi realizzarli sarebbe di aiuto. // La DSLR Sony A77 e alcune altre Sony hanno una modalità di aggregazione a basso rumore multi-scatto che NON è solo un programma di media. È possibile spostare sostanzialmente la fotocamera in quanto richiede 6 fotogrammi e ottenere comunque un'immagine migliorata.
Russell McMahon,

1
Questo spiega come funziona lo stacking delle immagini per la riduzione del rumore. Mentre un rumore eccessivo può impedire di risolvere i dettagli, la super-risoluzione è diversa in quanto richiede almeno alcuni movimenti della fotocamera per aumentare la risoluzione.
Matt Grum,

Come è già stato sottolineato, ciò che stai descrivendo non è la super risoluzione, ma lo stacking delle immagini. Ciò non aumenta la risoluzione, ma riduce il rumore.
Håkon K. Olafsen,

Mentre il titolo della domanda menziona la super-risoluzione, la domanda nel corpo chiede "impilare copie della stessa immagine". Quello che ho spiegato è, infatti, uno dei molti modi per aumentare la risoluzione delle tue foto, e può essere fatto con qualsiasi fotocamera.
Miguel,

1

Quanto segue è come capisco le cose. Le persone dovrebbero sentirsi libere di evidenziare eventuali equivoci in modo da essere tutti edificati, ma si spera che in realtà indicheranno ciò che individuano e non solo borbottano nella loro birra. (o barbe o ...).

In parole povere e semplicistiche, ci sono informazioni leggermente diverse nelle diverse foto e vengono utilizzati vari metodi per rilevare ed estrarre queste informazioni extra e combinarle in modo coerente additivo.

Vale la pena notare che il sistema non è garantito per funzionare in tutti i casi.
La [pagina Super risoluzione di Wikipedia] osserva:

  • Negli algoritmi SR più comuni, le informazioni acquisite nell'immagine SR sono state incorporate nelle immagini LR sotto forma di aliasing.

    Ciò richiede che il sensore di acquisizione nel sistema sia abbastanza debole da consentire effettivamente l'aliasing. Un sistema limitato dalla diffrazione non contiene alias né un sistema in cui la funzione di trasferimento della modulazione del sistema totale sta filtrando il contenuto ad alta frequenza.

L'aliasing è la capacità del sistema di presentare correttamente i dati delle frequenze interessate. Vedi "spiegazione" come fine.

Se li capisco correttamente (e potrei o meno) la loro frase "è abbastanza debole" significa che sono informazioni aggiuntive che il sensore non può risolvere da solo che di solito è considerato cattivo, quindi viene normalmente soppresso ove possibile VBUT che questo "aliasato" ulteriori informazioni sono necessarie per il sistema SR. La Nikon D800r non ha un filtro ottico antializzante sul sensore, mentre la D800 standard e quasi tutte le altre DSLR hanno un tale filtro.

L'MTF è effettivamente la capacità dell'obiettivo di produrre contrasto O di produrre "nitidezza" (i due sono strettamente correlati. L'MTF è generalmente meglio vicino al centro dell'obiettivo e, con un'immagine rettangolare, cade verso i bordi e di solito più negli angoli dell'immagine Stanno dicendo che la capacità del sistema di produrre un'immagine a super risoluzione dipende dalla sua capacità di rendere il contrasto e la nitidezza - cioè dalla sua qualità. Cioè che l'obiettivo deve essere almeno buono quanto l'obiettivo che oroduce il super rsolutionj iomage direttamente se le capacità di sensore e processo sono state migliorate.


L'aliasing è ciò che accade quando un flusso di informazioni viene campionato così lentamente che alcune delle informazioni ad alta frequenza cambiano più rapidamente; y rispetto alla frequenza di campionamento e si "avvolge" e appare come se fosse davvero una componente di frequenza inferiore. In un sistema di limitazione la frequenza di campionamento deve essere almeno il doppio della più alta velocità di informazione presente, ma in pratica sono richieste velocità leggermente più elevate di questa.

Esempio semplice:

  • Considera la sequenza 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

    Chiaramente c'è un modello che si ripete ogni 12 unità.
    È un triangolo ave che aumenta per 6 cicli e diminuisce per altri 6 cicli e poi si ripete, con punto = 12 unità.

    Ora campiona la sequenza solo ogni undicesima volta. Otteniamo
    0 1 2 3 4 5 6 5 4 3 2 1
    Questo è esattamente lo stesso modello MA cambia 11 volte più lentamente - un'onda triangolare con periodo 11 x 12 = 132 unità.

    Campiona la stessa sequenza ogni ottava volta e ottieni 0 4 4 0 4 4 0 4 4,
    cioè sembra un'onda quadrata 1: 2 con punto = 24 unità.

    Qualsiasi periodo di campionamento superiore a 6 unità di tempo = mezzo ciclo comporterà tali errori di aliasing.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.