Esiste un software in grado di identificare l'illuminazione in una foto esistente?

Esiste un'applicazione che prenderà una regione selezionata di una foto e restituirà la sua stima dei parametri di illuminazione richiesti per emulare le condizioni di illuminazione nella regione selezionata della foto?

La mia ipotesi sui parametri che restituirebbe includono: sorgenti luminose, diffusione della sorgente, colore della sorgente, durata della sorgente, sorgente luminosa riflettente / incidente, movimento della sorgente, ecc. (Accolgo con favore il feedback su queste ipotesi e sulla probabilità che è possibile modellarli staticamente.)

lighting software white-balance

— errori
fonte

Sembra un ordine elevato. Quando guardiamo una foto, applichiamo alcune conoscenze consapevoli del contesto su ciò che stiamo guardando (in altre parole, abbiamo una versione di "normale" nelle nostre menti che possiamo confrontare con la foto). Sarò impressionato se c'è qualcosa là fuori che può farlo.

— D. Lambert,

@D. Lambert: D'accordo, anche se credo che alcuni degli algoritmi all'interno di PhotoShop eseguano calcoli per cose come questa, ma per quanto ne so non c'è output leggibile per uso esterno; significa che quei calcoli sono usati come input per altri calcoli.

— errori del

Il lavoro richiesto per creare software come questo è milioni di volte rispetto alle 2-3 ore di formazione che qualcuno dovrebbe indovinare in modo abbastanza accurato la maggior parte dei parametri. Inoltre, alcune di queste cose sono impossibili da capire ... durata della fonte?

— Jędrek Kostecki,

+1 @ Jędrek Kostecki: Un buon punto in merito al fatto che gli umani potrebbero farlo più velocemente (attualmente), anche se è divertente in quel ... :-) ... "durata della sorgente", ad esempio, è stato usato un flash.

— errori del

Ah, il miglior software al mondo è probabilmente il cervello umano. Algoritmi potrebbero essere sviluppati per questo che potrebbero fare approssimazioni ragionevoli basate su luci e ombre, ma perché farlo? È probabile che il cervello umano salti alla risposta più velocemente con la tecnologia di oggi di quanto non faccia un computer.

— John Cavan,

Risposte:

In realtà ci sono state molte ricerche in questo settore:

I risultati sono limitati, tuttavia, poiché il problema è fortemente sottovalutato, in quanto vi sono molte più incognite rispetto ai dati. Ciò significa che le soluzioni esatte sono impossibili e qualsiasi risposta che ricevi è soggetta ad ambiguità.

Un altro problema per ciò che stai suggerendo è che la ricerca in quest'area è diretta alla comprensione automatica delle immagini visive. Essere in grado di stimare l'illuminazione sarebbe importante per i robot che navigano visivamente in un labirinto in quanto sarebbero in grado di giudicare l'angolo delle pareti ecc. Queste applicazioni avranno requisiti software diversi rispetto all'obiettivo artistico di ricreare l'illuminazione in un buon ritratto per esempio.

Per quanto riguarda la differenza tra ricerca e software commerciale, la ricerca di oggi costituisce la base del software di domani (uno dei motivi per cui mi trascino negli atti di SIGGRAPH ogni anno). La cucitura panoramica automatica era una volta un progetto di ricerca ed è ora data per scontata. Ricordo di aver letto del ridimensionamento consapevole dei contenuti quando è stato pubblicato in una conferenza sulla visione artificiale (allora si chiamava "intaglio delle cuciture") ed è stato solo un paio d'anni prima che diventasse una funzionalità standard in Photoshop.

C'è una differenza, tuttavia, tra qualcosa di riempimento consapevole del contenuto e ciò che stai proponendo, e questo è che il riempimento consapevole del contenuto può risparmiare ore di ritocco e quindi c'è una grande richiesta da esso. Stimare le condizioni di illuminazione di una fotografia è un processo molto rapido per qualcuno esperto di illuminazione.

Un ultimo barlume di speranza si trova nell'area della post produzione video. Stimare / modellare le condizioni di illuminazione originali è importante per comporre realisticamente l'animazione generata da computer in filmati reali (è molto più probabile che le incongruenze di illuminazione si notino nelle immagini in movimento che in una foto). Oltre alla quantità extra di dati disponibili in un flusso video, e immagino che vedresti la funzione che stai dopo essere apparsa per prima nel software di editing video.

— Matt Grum
fonte

+1 @Matt Grum: grazie, la ricerca aiuta a "illuminare" i problemi risolvendo questo problema. La mia ipotesi è che i sensori di robot e l'IA utilizzerebbero molto probabilmente la correlazione delle osservazioni longitudinali nel tempo e nello spazio, possibili includendo filtri per diverse lunghezze d'onda della luce; ad esempio, infrarossi per rilevare il calore. Per quanto riguarda gli obiettivi artistici, vuoi dire che molto probabilmente richiederebbero inferenze che andrebbero oltre la posizione della macchina fotografica, delle luci e degli oggetti.

— errori del

Immagino che uno dovrebbe sottolineare che quando si tratta di panoramiche automatiche. cuciture, hai tutte le informazioni necessarie disponibili nelle immagini che stai cucendo. Ciò è in forte contrasto con l'ipotesi che l'illuminazione illumini una scena, poiché (al di fuori di una luce nella scena) non si può mai realmente sapere quale fosse la fonte di luce. Nella cucitura panoramica, sei ricco di informazioni ... indovinando la fonte di luce, sei anemico. Quando si tratta di video e CG, hai la possibilità di inserire esplicitamente informazioni di illuminazione EXACT e non è necessario indovinare.

— jrista

@jrista è vero, ma nel riempimento consapevole dei contenuti , non hai informazioni sull'area che stai cercando di riempire, è tutta inferenza - come il problema della stima dell'illuminazione, sarebbe sembrato piuttosto improbabile in una volta ma ora è una funzionalità standard in Photoshop, GIMP

— Matt Grum,

+1 @Matt Grum: In effetti, il riempimento consapevole dei contenuti era quello che stavo pensando come un esempio approssimativo di questo, ecco un video che mostra un esempio del suo utilizzo .

— errori del

@MattGrum: se cerchi come funziona il riempimento consapevole del contenuto, non è quasi anemico come l'illuminazione stimolante. Una parte significativa del riempimento consapevole del contenuto è la clonazione del contenuto vicino, insieme ad alcuni algoritmi intelligenti di base e alla corrispondenza dei pattern per rendere il contenuto compilato congruente e coerente con i pattern. Hai MOLTE informazioni disponibili per rendere il lavoro di riempimento consapevole dei contenuti ... come la cucitura panoramica. L'unica informazione che devi indovinare per l'illuminazione è ciò che viene riflesso dalla scena. La quantità di informazioni utili disponibili è diversa per ordini di grandezza.

— jrista

Francamente, no - non con il software attualmente disponibile. Ci possono essere ricerche in corso qui e chissà cosa riserva il futuro, ma in questo momento no.

Ci sono troppe informazioni che il software deve elaborare per provarci, specialmente a livello di consumatore. Per lo meno, dovresti avere un modo per dire al software come appariva l'argomento UNLIT. Questo è il vantaggio che un essere umano ha - abbiamo una pre-visualizzazione nella nostra mente di come il soggetto apparirebbe normalmente. Ciò consente a una persona di dire "beh, NON ha NORMALMENTE una zona scura in dissolvenza o un punto luminoso laggiù".

Inoltre, ci sono MOLTI modi diversi per produrre lo stesso effetto nell'illuminazione (anche se molti sono più comuni di altri).

— rfusca
fonte

@rfusca: Sì, la "pre-consapevolezza" degli oggetti delle qualità riflettenti, e la relazione della telecamera con le luci e gli oggetti aumenterebbe la probabilità che ciò sia possibile, penso ancora che sia possibile; le stime dopo tutto non sono perfette.

— errori del

@blunders: Nella migliore delle ipotesi, le stime potrebbero darti informazioni approssimative su quanta RIFLESSIONE possa essere osservata in una scena ... ma sottolineo di grosso . Cercare di ottenere qualcosa di più di un'ipotesi rouge sul numero di sorgenti luminose, sugli attributi della sorgente (colore, diffusione, durata dell'emissione), ecc., Richiede davvero molte congetture basate su un giudizio basato sull'osservazione. Se c'è una cosa che i computer fanno schifo ... ecco. Fare un'ipotesi accurata ed educata su quale illuminazione possa aver illuminato una scena richiede una mente esperta .

— jrista

Potresti sostenere che un'intelligenza artificiale sufficientemente avanzata potrebbe imparare abbastanza da diventare una mente esperta in relazione all'osservazione dell'illuminazione delle fotografie ... ma al momento dubito che ci sia anche qualcosa di simile su una scala rudimentale, per non parlare di qualcosa che potrebbe produrre risultati costantemente utili.

— jrista

@jrista - Giusto, la mia risposta riflette se c'è probabilmente qualcosa là fuori con la tecnologia attuale che produce risultati realistici, utilizzabili e precisi.

— rfusca,

Penso che sia probabilmente il caso. Tuttavia, non sarei affatto sorpreso se ci fossero ricerche in questo settore. Sembra un problema interessante. Quindi, esiterei a dire "no" senza studiare.

— Leggi il mio profilo il