Possono esistere telecamere + schermi con comportamento ottico simile a una finestra / specchio?

Gli schermi di visualizzazione collegati alle telecamere sono significativamente diversi da finestre o specchi. Guardando attraverso una finestra o uno specchio, possiamo concentrarci sull'infinito e possiamo spostare il nostro punto di vista per vedere un po 'diverso. Con uno schermo che mostra le riprese in diretta della telecamera, vediamo il campo visivo da un unico punto (la posizione della telecamera) e il nostro focus è sullo schermo.

Sarebbe possibile sviluppare uno schermo + una fotocamera che abbia un comportamento molto più vicino a una finestra o uno specchio? Penso che lo schermo e la fotocamera dovrebbero avere la stessa superficie. Entrambi sarebbero sensibili alla direzione e quando il pixel della telecamera sulla telecamera riceve un fotone con frequenza dagli angoli , lo schermo invierebbe un fotone corrispondente a frequenza da posizione in direzione , dove sono calcolati da imitando il comportamento di una finestra o di uno specchio.$(C_i, C_j)$$\nu$$(C_\phi, C_\theta)$$\nu$$(S_i, S_j)$$(S_\phi, S_\theta)$$(S_\phi, S_\theta)$$(C_\phi, C_\theta)$

Un tale dispositivo è teoricamente possibile? Se sì, un dispositivo del genere sarebbe tecnicamente fattibile oggi? Se sì, c'è stato un serio lavoro su tali dispositivi? Se teoricamente è possibile ma non è fattibile oggi, cosa dovrebbe essere sviluppato prima che tali dispositivi possano essere all'orizzonte?

Dovrebbe avere una vasta gamma di applicazioni in telepresenza , realtà aumentata , ingegneria automobilistica e sicuramente molti altri campi.

La tecnologia per fare ciò che vuoi esiste da decenni e si chiama olografia . Il problema con i comuni sensori e display fotografici è che registrano / riproducono solo informazioni sull'ampiezza della luce. Per sapere, ad esempio, da quale angolo proviene il raggio, è necessario registrare anche le informazioni sulla fase della luce. Questo è esattamente ciò che fa l'olografia.

Nell'immagine mostrata in basso puoi vedere che due immagini di un singolo ologramma prese da angolazioni diverse mostrano il mouse come se fosse visto da angolazioni diverse. Ci sono parti della scena visibili da un angolo che non sono nemmeno visibili dall'altro angolo come la parte posteriore del mouse e il ramo dietro il mouse.

Le tecnologie necessarie per realizzare ologrammi in tempo reale (simile a una telecamera con uno schermo) sono ancora in fase di ricerca e sviluppo e al momento sono molto rudimentali. I modulatori di luce spaziale forniscono un modo per produrre ologrammi 2D in tempo reale. Questo gruppo è stato in grado di registrare l'ologramma utilizzando una videocamera 4K standard con un array di lenti e ha utilizzato i modulatori di luce spaziale per riprodurre l'ologramma in tempo reale (anche se non particolarmente bene).

Tale schermo può essere possibile con una tecnologia simile ai metamateriali, nota per la potenziale applicazione come "mantello dell'invisibilità". Alcune aziende affermano anche di aver raggiunto questo obiettivo per i militari, ma la sua efficacia è discutibile perché tutto il PR che lo circonda utilizza immagini fisse e modelli.

Il trucco sarebbe raccogliere la luce da tutte le direzioni e ri-produrre lo stesso scatter dall'altra parte (o dallo schermo). Esistono modi per rendere le cose "invisibili" ad alcune lunghezze d'onda usando la rifrazione per piegare le onde EM attorno a un oggetto centrale, ma è improbabile che ciò funzioni per uno "schermo" posizionato arbitrariamente, a meno che non si possa catturare l'input con un fascio di fibre ottiche e in qualche modo riprodurlo esattamente dall'altra parte (senza "torcere" la dispersione in uscita).

Tutto ciò sembra abbastanza confuso e troppo poco sviluppato per l'applicazione pratica che stai cercando qui. Probabilmente il meglio che potresti ottenere sarebbe uno schermo lenticolare 3D con tracciamento testa / occhio in modo che possa manipolare l'immagine in base alla posizione relativa schermo / testa.

Questo funzionerebbe solo per una persona alla volta con la tecnologia attuale, per quanto ne so. L'input dovrebbe quindi essere elaborato in una scena 3D in modo che possa essere nuovamente visualizzato da altre angolazioni. Questa tecnologia è ragionevolmente matura e ci sono molte tecnologie che vanno dalla cattura della luce visibile basata su telecamera pura con l'elaborazione del software, alle telecamere di scansione 3D attive che combinano più input attivi e passivi. In alternativa, è possibile utilizzare una serie 2D di telecamere molto compatta e selezionare due opportune per adattarsi all'orientamento relativo dello schermo principale. Il loro campo visivo dovrebbe comunque essere manipolato in base alla distanza dello schermo principale, molto probabilmente sarebbe più facile farlo digitalmente ritagliando e ridimensionando l'immagine da un obiettivo grandangolare.

La trasmissione di ogni singolo fotone è impossibile, data la quantità di calcolo che sarebbe necessaria, ma la tecnologia per catturare alcune informazioni sulla direzione della luce in arrivo esiste già ed è utilizzata nella fotocamera "campo di luce" di Lytro .

Per quanto ne so, il display del campo luminoso corrispondente non esiste. Il sistema Lytro utilizza un display convenzionale con postelaborazione che consente di regolare il punto focale, la profondità di campo, ecc. Dopo lo scatto della foto.

Telecamere 3D

Le telecamere 3D composte da due telecamere distanti per consentire la percezione della profondità sono in circolazione da molto tempo. L'unico piano è che mostrarlo a un paio di occhi umani in un modo che il cervello possa capire può essere difficile. La maggior parte degli sforzi oggi si concentra sul mostrare solo un'immagine per ciascun occhio e consentire al cervello di concentrarsi sulla sincronizzazione delle immagini con una narrazione coerente.

Il problema è che è necessario un display molto vicino agli occhi o un paio di occhiali polarizzati.