Come fondere due telecamere quando si viaggia attraverso un portale in Unity3D

Prima di arrivare alla mia domanda, so che la soluzione più ovvia sarebbe quella di utilizzare la vista normale port rect, tuttavia ho bisogno di forme più complesse di un rettangolo, e ho cercato di usare la vista port rect e sembra non farlo sii la mia soluzione.

EDIT: Alcune persone erano confuse dalla mia domanda, lasciami entrare un po 'più in dettaglio. Quello che sta succedendo è quando il giocatore si sposta su un portale, creo un controller FPS clone e lo sposto dall'altro. Questo mi dà due telecamere e la vista che vedi a destra sopra. Mostra solo una videocamera e sfoglia il portale. Quello che voglio è qualcosa di simile a questodove le telecamere si fondono per creare l'illusione di una transizione graduale. Quello che voglio fare è cancellare tutto dall'immagine del quadrante verde a sinistra nell'immagine qui sotto e sostituirla con l'altra fotocamera. In questo modo si ottiene la parte della vista della telecamera A che sta raggiungendo il picco dal portale, unita alla parte della vista della telecamera B che sta raggiungendo il picco dall'altro portale, per ottenere un'immagine completa. E mentre ti muovi attraverso il portale, il taglio cambia in modo appropriato.

Ho progettato un sistema di portale, ho tutto giù, incluso far muovere il giocatore senza intoppi attraverso il portale. Il mio problema principale ora è ottenere l'effetto di fusione della fotocamera Valve. Ho bisogno di due telecamere che si fondano senza soluzione di continuità, come se stessi spingendo la testa attraverso il portale. E non può essere solo un rettangolo, deve corrispondere tuttavia il giocatore sta guardando attraverso il portale.

Il mio miglior vantaggio in questo momento è probabilmente proiettare uno shader con maschera di profondità dietro ogni portale, quindi rendere la telecamera dal portale che stai viaggiando per essere solo di profondità. Quindi in qualche modo mescola le due telecamere. Il mio problema principale è capire esattamente come farei questo, come fare in modo che la seconda videocamera renda solo ciò che è al di fuori del portale e avere il resto predefinito sulla videocamera 1 per ottenere una proiezione a schermo intero.

Se potessi darmi delle idee o spiegare come potrei farlo con lo shader con maschera di profondità, sarebbe di grande aiuto. Continuerò a lavorare su questo e aggiornerò mentre faccio delle scoperte.

Comprensione del problema

Da quello che vedo il problema che stai descrivendo è il risultato del piano vicino della telecamera che interseca il piano definito dal portale. Mentre si verifica questo incrocio, è possibile vedere dietro il muro su cui si trova il portale.

Questo è simile a un problema riscontrato in altri giochi quando il giocatore sta solo passando dall'acqua all'acqua. Se la videocamera è appena sopra l'acqua, non viene applicato alcun effetto di post elaborazione per offuscare la vista dei giocatori (renderla scura, sfocata e blu). Quindi se la parte inferiore dell'aereo vicino è appena sotto l'acqua, il giocatore può vedere chiaramente sott'acqua.

Se ho ragione, puoi confermarlo cambiando la posizione di questo piano quando definisci la matrice di proiezione. All'aumentare della distanza tra l'origine della telecamera e il piano vicino, dovrebbe aumentare anche il problema.

La soluzione facile

Rendere il piano vicino molto vicino alla telecamera dovrebbe quasi sradicare questo problema. Questa soluzione non è completa, ma produrrà un risultato abbastanza buono nella stragrande maggioranza dei casi ed è efficiente.

La soluzione completa

Se il solo avvicinamento del piano vicino alla telecamera non è soddisfacente, è possibile creare una "maschera" per fondere le immagini generate dal rendering della scena dal punto di vista del giocatore e del portale.

Supponendo che si consenta di applicare solo i portali su superfici piane, è possibile calcolare la linea di intersezione tra il piano vicino della telecamera e il piano definito dal portale (o il muro su cui giace). Questa linea dividerà lo schermo in due parti. Determinare da quale parte della linea si trova un pixel dello schermo ti farà sapere quale immagine di rendering usare, l'immagine del portale o l'immagine della telecamera del lettore.

Tieni presente che se si verifica questo problema, il frustum della telecamera deve trovarsi completamente all'interno del portale in modo che la linea di intersezione taglierà sempre completamente da un bordo dello schermo all'altro.

Questo link dovrebbe aiutare con la matematica a trovare la linea. Il codice seguente dovrebbe essere approssimativamente corretto.

La linea di intersezione viene definita utilizzando un punto sulla linea e la direzione della linea. Sotto la direzione dell'intersezione viene calcolata utilizzando il prodotto trasversale della normale portale e la direzione di visualizzazione della telecamera (vicino al piano normale). Un punto sulla linea viene dato lanciando un raggio da un punto sul piano vicino direttamente verso il piano del portale (lungo il portale normale) e trovando il punto di intersezione.

Vector3 intersectionDir = Vector3.cross(portalNorm, viewDir);
Ray ray = new Ray(camPos + viewDir * camNearPlaneDist, portalNorm);
Vector3 intersectionPos = ray.intersects(new Plane(portalVert1, portalVert2, portalVert3);

Assicurarsi che viewDir sia un vettore unitario. portalVert1, 2 e 3 sono solo 3 dei 4 vertici utilizzati per l'etichetta del portale o la superficie su cui si trova. Esistono altri modi per definire il piano su cui si trova il portale, ma suppongo che questa sia l'informazione più facilmente disponibile.

Una volta che hai questi due vettori per definire la linea di intersezione, moltiplica ciascuno per la vista e quindi le matrici di proiezione per farle nello spazio dello schermo.

È quindi possibile utilizzare uno shader post process per fondere queste immagini. È possibile selezionare l'immagine da utilizzare per ciascun pixel determinando da quale lato della linea di divisione si trova il pixel corrente. Questo viene fatto prendendo la posizione del pixel (che è anche la posizione che usi per cercare il texel di destinazione del rendering) e facendo;

float d = (pixelX - intersectionPos.X) * intersectionDir.Y - (pixelY - intersectionPos.Y) * intersectionDir.X;

Il lato è dato dal fatto che d sia maggiore o minore di 0. Se è esattamente 0, allora sei sulla linea.

Per riferimento sulla matematica sopra vedi questo .

Questo metodo può essere utilizzato anche durante la creazione di una maschera di profondità / buffer stencil da utilizzare prima del rendering dalla prospettiva del portale. Puoi creare un quad a schermo intero e utilizzare la linea per tagliarlo.

Le risposte suggerite erano molto buone, ma alla fine ho optato per una tecnica diversa usando una maschera di profondità.

Quello che fai è prendere QUESTO script e shader, metti lo script su ogni oggetto con un renderer nella tua scena e imposti la coda di rendering su 3020 (posterò uno script per renderlo più facile in seguito).

Quindi, crei una scatola di piani (tutti rivolti verso l'interno, nella foto non puoi vedere il lato della scatola più vicino a te, ma quando sei dentro la scatola tutto ciò che dovresti vedere è grigio) dietro ENTRAMBI i tuoi portali in questo modo: e posizionali su un livello speciale (ho scelto "DepthMask" per il mio), quindi aggiungi un materiale con lo shader sopra a loro.

Quindi prendi la fotocamera principale e deselezioni il tuo livello speciale dalla sua maschera di abbattimento (ho deselezionato il livello DepthMask) e hai impostato la profondità su 0.

Quindi, quando stai teletrasportando e clonando la videocamera, imposta le bandiere chiare dell'altra videocamera su "Solo profondità" e la profondità è 1.

Quindi si ottiene uno schermo uniforme miscelato tra le due viste della telecamera.