Perché la grafica dei giochi non è bella come i film animati?

Ricordo di aver visto il trailer pre-renderizzato di Tomb Raider e di aver desiderato che quella grafica potesse essere nel gioco stesso.

Perché c'è una differenza così grande tra il trailer e il gioco reale? Capisco che il gioco è un concetto completamente diverso, ha una pipeline diversa, deve passare attraverso diversi tipi di interazioni con i giocatori, ecc. Voglio sapere di cosa si tratta nei giochi che li rendono così difficili rispetto ai film animati.

Finora so che creare un gioco e un film d'animazione condividono un carico di lavoro di base, ad es. Creare modelli 3d, renderli (solo in-game accade dal vivo). I filmati animati vengono riprodotti a lungo e vediamo solo scene pre-renderizzate. Questo è tutto ciò che so, quindi spero che risponderai da quella prospettiva!

Che dire del rendering di film animati per ore e ore li rende così belli mentre il rendering live in-game è meno bello (da un punto di vista generale)?

Hai già menzionato uno dei punti centrali: il tempo .

Nel processo dietro il rendering di un'animazione ad alta fedeltà, vengono utilizzati più approcci e algoritmi diversi (tutti generalmente combinati con il termine "Illuminazione globale" ), con Ray-Tracing come uno dei più comuni (altri includono ad esempio Radiosity e Occlusione ambientale ).

Il Ray-Tracing implica la simulazione di un numero (solitamente elevato) di raggi di luce che attraversano la scena e il calcolo dei loro percorsi, dei loro riflessi e rifrazioni quando colpiscono oggetti con materiali diversi. Materiali diversi in cambio hanno quindi proprietà fisiche diverse che provocano reazioni specifiche per i raggi (la quantità di luce che rimbalza da un oggetto, ad esempio, è maggiore per un oggetto lucido rispetto a uno lucido).

Un altro punto è la fisica : simulare migliaia di ceppi di capelli in modo fisicamente corretto richiede tempo. Questo è il motivo per cui nei giochi più vecchi, i peli sono spesso approssimati con una maglia molto ruvida che viene poi strutturata per dare l'impressione di capelli, forse con alcuni oggetti in movimento aggiuntivi per renderlo un po 'più realistico.

Da considerare anche: memoria e larghezza di banda . Maggiore è la qualità di una trama applicata a un oggetto in una scena, maggiore è la memoria necessaria per caricarla e utilizzarla in un gioco. Ma non solo il sistema deve disporre di memoria sufficiente per contenere i dati, ma questi dati devono anche essere trasferiti attorno a quelli che consumano la larghezza di banda disponibile. Poiché la memoria e la larghezza di banda sono limitate, esiste un massimo di ciò che può essere raggiunto.

I giochi spesso imbrogliano un po 'solo usando le trame ad alta risoluzione per oggetti vicini e usano immagini a risoluzione più bassa per gli oggetti lontani (termine: MipMapping ) riducendo così la larghezza di banda necessaria poiché è necessario recuperare meno texel che a loro volta aumenta le prestazioni (vedi la sezione MipMapping nella Guida alla programmazione OpenGLES di Apple).

Allo stesso modo, i giochi spesso usano maglie diverse per gli oggetti a seconda di quanto sono lontani con oggetti molto lontani che sono meno dettagliati (termine: LoD = Livello di dettaglio ).

Conclusione: nella grafica in tempo reale (come giochi e simulazioni), questo processo di rendering dettagliato e complesso ovviamente non funzionerà per produrre scene fluide / fluide. Per ottenere quell'effetto fluido di animazione / movimento per l'occhio umano sono necessari almeno 20 fotogrammi renderizzati al secondo. D'altra parte, il rendering di un singolo fotogramma (!) In un film di animazione può facilmente richiedere da poche ore a più giorni a seconda di molti fattori come il numero di raggi usati in Ray-Tracing o il numero di campioni per Ambient Occlusione (vedere queste pagine Pixar 1 / Pixar pagina 2 per schermate di 16 contro 256 campioni) e la risoluzione del film desiderata (più pixel = più informazioni da calcolare). Vedi anche questo articolosul processo che sta dietro il film d' animazione della Monsters University della Pixar , fornendo alcuni spunti interessanti e menzionando anche 29 ore di rendering per fotogramma.

In generale: maggiore è la fedeltà / realismo da raggiungere, maggiore è il numero di iterazioni / rimbalzi / campioni che di solito richiedono più risorse (tempo e / o potenza di calcolo / memoria). Per visualizzare la differenza, vedere il rendering risultante in base al numero di rimbalzi per il calcolo della rifrazione in questo esempio: Diamond Bounces from Keyshot

Ma, naturalmente, la qualità nelle applicazioni in tempo reale aumenta continuamente per due motivi:

1. Hardware più potente: man mano che i computer (di gioco) migliorano (= maggiore potenza di calcolo [parallela], maggiore trasmissione di dati tra i componenti del computer, memoria più veloce e più veloce, ecc.), Aumenta anche la fedeltà visiva, poiché in realtà più calcoli richiedono molto tempo diventare fattibile in un sistema in tempo reale.

2. Metodi / formule più intelligenti sono sviluppati e implementati in grado di creare effetti piuttosto fotorealistici senza bisogno di raytracing. Ciò comporta spesso approssimazioni e talvolta dati precalcolati. Qualche esempio:

   • Diversi tipi di anti-aliasing come FXAA
   • Approssimazione alla dispersione sub-superficiale
   • Physically Based Shading (PBS) / Physically Based Rendering (PBR), ad es. In Unreal Engine 4 .

Oltre al fattore tempo, vale la pena notare che in un film, l'artista ha il controllo completo su ciò che lo spettatore farà e non guarderà.

Nella tua tipica scena cinematografica, la telecamera non trascorrerà molto tempo puntato verso il soffitto, o puntato in un angolo buio della stanza, o puntato sulla caviglia di qualcuno, quindi il poligono e il budget delle trame per quegli elementi saranno abbastanza bassi.

Se l'intera scena si svolge da un punto di vista, il set virtuale (come un vero set cinematografico) non deve includere le parti che si trovano dietro la telecamera. Nella maggior parte dei giochi, il giocatore è libero di guardare ovunque in qualsiasi momento. Ciò significa che il budget di qualità può essere focalizzato su ciò che è effettivamente visto. (Alcuni giochi in terza persona, ad esempio la serie God Of War, utilizzano una videocamera limitata; i loro effetti visivi tendono ad essere notevolmente migliori di quelli di altri giochi gratuiti.)

Che dire del rendering di film animati per ore e ore li rende così belli mentre il rendering live in-game è meno bello (da un punto di vista generale)?

Stai assumendo che la differenza sia semplicemente nel rendering - in un film d'animazione, c'è anche una possibilità di editing dopo il fatto. Potrebbero avere effetti compositi che sarebbero stati difficili da ottenere nel motore originale, oppure potrebbero modificare leggermente le cose (ad esempio, rimuovere o ripetere ogni decimo fotogramma per accelerare / rallentare l'animazione).

Se ne hai la possibilità, cerca uno dei DVD di "Roughnecks: The Starship Trooper Chronicles", poiché hanno tracce di commenti da parte dell'editor e degli animatori sui trucchi che dovevano fare quando hanno iniziato a rimanere indietro rispetto al loro programma di consegna - cose come riciclare colpi ma capovolgendo l'asse in modo che non fosse così ovvio, correzioni di colore, mascherare cose che non gli piacevano, aggiungere esplosioni, ecc.

Hai già risposto alla tua domanda. I filmati animati generalmente hanno un livello di dettaglio più elevato che causa un lungo tempo di rendering per ogni singolo fotogramma.

I giochi d'altra parte non hanno molti dettagli, perché la scena deve essere riprodotta 30 o più volte al secondo. Questo è anche il motivo per cui gli sviluppatori cercano di riutilizzare il maggior numero possibile di risorse (trame, modelli, ecc.), Perché il rendering dello stesso oggetto in due posizioni è molto più veloce di se tutto fosse unico. Devono anche stare attenti a non usare troppi poligoni nei loro modelli e invece cercano di ottenere un'impressione di profondità usando l'illuminazione, le trame, la mappatura di rilievo e altre tecniche.

I film non hanno questo problema; rendono la scena come vogliono e usano quante più trame, modelli e geometrie dettagliate di cui hanno bisogno per raggiungere la scena che stanno cercando.

Si potrebbe obiettare però che i giochi stanno recuperando terreno. Se guardi alcuni dei giochi più belli degli ultimi tempi, non sono così lontani dalla qualità del film come una volta. Ovviamente sarai sempre in grado di stipare più dettagli in una scena pre-renderizzata rispetto a un gioco, ma penso che la differenza non sarà così evidente tra qualche anno.

Le altre risposte coprono i problemi di grafica grezza nei dettagli, ma non menzionano una parte importante del realismo dei giochi rispetto ai film e ai trailer: le animazioni e i movimenti della telecamera .

In un film o trailer, ogni movimento di persone e telecamere può essere attentamente coordinato per mostrare l'emozione giusta per il momento e non devono mai essere ripetute. Nei videogiochi, il gioco deve essere in grado di reagire istantaneamente ai movimenti del giocatore e deve riutilizzare un piccolo pool di animazioni di riserva per riempire le ore illimitate di tempo di gioco che possono essere possibili.

Esempi di questo dal trailer in questione sono quando il terapeuta annuisce e fa un sorriso "non male" , e quando Lara afferra il bracciolo, fa oscillare la gamba o guarda la caverna con soggezione. Queste piccole cose (o la mancanza di esse, e i personaggi "plastici" coinvolti) influenzano il realismo percepito molto più che piccoli miglioramenti grafici.

A differenza delle altre differenze grafiche, questo non è un problema che può potenzialmente essere risolto aggiungendo più potenza di calcolo: è una differenza fondamentale tra un mondo che è stato scritto e un mondo che risponde a ogni tua azione. A questo proposito, mi aspetto che il realismo dei trailer di oggi supererà tutto il gameplay per il prossimo futuro.

Aggiungendo alle altre grandi risposte già pubblicate, vale la pena notare che per raggiungere i tempi di elaborazione rapidi di cui i giochi hanno bisogno, gli sviluppatori di giochi devono creare molti dei loro effetti visivi come semplici trame. Ciò significa che è necessario prestare molta attenzione per evitare effetti che non si cuociono bene.

Un effetto importante difficile da realizzare per i videogiochi è Subsurface Scattering (SSS) . Sfortunatamente, questo effetto è davvero importante nel generare una pelle umana dall'aspetto realistico. Ecco perché molti personaggi "realistici" dei videogiochi appaiono in plastica.

Un modo in cui gli sviluppatori evitano questo problema è quello di rendere deliberatamente i personaggi dai colori vivaci per sminuire l'aspetto di plastica o aggiungendo molte ombre e dettagli materici al viso (come barbe ecc.) Per spezzare le sezioni altrimenti grandi e continue di pelle.

Per rispondere a una delle domande poste dall'OP in un commento:

"Quindi chi dovrebbe essere il principale colpevole? Livello poligonale o ray tracing?"

Questa domanda è più difficile di quanto sembri. Penso che una buona regola empirica sia la seguente equazione (che ho inventato a proposito):

number of calculations = {polygons} * {light sources} * {effects}

Fondamentalmente, questo significa che per i modelli con relativamente pochi materiali speciali (cioè senza specchio, sottofondo, ecc.), Il tempo di calcolo sarà grande determinato dal numero di poligoni. Questo è generalmente il caso di una grafica per videogiochi molto semplice.

In pratica, tuttavia, nei nuovi giochi di fascia alta e soprattutto nei film, il colpevole è "di solito" ray tracing. Perché? Bene per due motivi. Daremo prima la ragione della matematica, e poi la mia opinione sulla vera ragione alla fine.

Motivo di Mathy:

Aggiornamento: questa spiegazione della matematica potrebbe non essere completamente accurata. Per maggiori dettagli, consultare la spiegazione di CrazyCasta nei commenti.

Supponiamo di avere 1000 poligoni e 3 fonti di luce. Il minor numero di ray traces che devi eseguire è 3 * 1000.

Se semplifichiamo eccessivamente la situazione e ipotizziamo che 1 raggio ray = 1 calcolo (una sottostima lorda) avremo bisogno di 3000 calcoli.

Ma ora supponiamo che tu voglia avere anche dei riflessi.

Le impostazioni predefinite per i riflessi nel programma freeware Blender sono:

max reflections  = 2
ray length limit = None
...

Per queste impostazioni possiamo indovinare che, nel migliore dei casi, questa riflessione semplicissima raddoppierà il costo computazionale del tuo modello.

Ma come ho detto prima, questo esempio è molto semplificato e puoi trovare molti effetti (oltre a quelli che ho già menzionato) che ti permetteranno di sparare il tempo di rendering attraverso il tetto.

Caso e punto: prova a renderizzare i riflessi con gloss=1(impostazione predefinita in Blender), quindi abbassa il gloss a 0,01 e confronta i due tempi di rendering. Scoprirai che quello con lucentezza 0,01 sarà molto più lento, ma la complessità del modello non è stata affatto cambiata.

La mia ragione qualitativa ma più realistica:

L'aumento della complessità della mesh migliorerà la qualità del modello solo fino a un certo punto. Dopo aver superato un paio di milioni di volti, non c'è davvero molto che l'aggiunta di più volti faccia. Mi spingerò fino al punto di dire che se usi il livellamento, sarai in grado di cavartela con solo duecento facce per gli scopi più generali.

Ma le cose che fanno quasi sempre la differenza sono l'illuminazione, gli effetti materiali e il ray tracing. Ecco perché i film tenderanno a usarne un gran numero nel tentativo di approssimare le belle complessità del mondo reale.

Un ottimo modo per farsi un'idea di tutto ciò è guardare la lista dei cast alla fine delle ultime animazioni Disney. Probabilmente rimarrai sorpreso da quante persone di illuminazione e texture hanno.

Vale la pena aggiungere che l'animazione del film di solito fa una buona dose di inganno visivo per rendere più fluido il movimento percepito.

Gli animatori possono, ad esempio, utilizzare le tradizionali tecniche di animazione manuale che non sono in genere utilizzate nel rendering in tempo reale, come sbavature, multipli o deformazioni per produrre un movimento più fluido nonostante il framerate inferiore dei film (almeno in ogni caso, fino a poco tempo fa) ) visualizzato a. L'uso di strisci e multipli, in particolare, è complicato dall'uso di mesh: è necessario produrre deformazioni di mesh per quel tipo di distorsione di mesh e non credo di averlo visto in nessun videogioco 3D.

I fotogrammi con oggetti in rapido movimento che li attraversano possono essere renderizzati con un framerate diverso e quindi combinati nuovamente per produrre sfocatura di movimento attraverso la scena. Il motion blur è una tecnica abbastanza comune nella grafica 3d in tempo reale al giorno d'oggi. L'effetto di solito non è dell'alta qualità che otterrà una casa di animazione con dozzine di processori a disposizione (vedi le risposte "tempo" sopra) in gran parte a causa del fatto che la simulazione del motion blur richiede davvero più fasi di post-elaborazione per strato, e un gran numero di frame intermedi per essere davvero fluido.

Fare questo tipo di trucco visivo per migliorare la qualità percepita con la grafica in tempo reale richiede effettivamente di limitare il framerate di output a tassi ben al di sotto dei massimi fotogrammi intermedi con rendering di sfondo disponibili, quindi fare una composizione per produrre il fotogramma finale. Probabilmente ci sono diverse scuole di pensiero sul fatto che i leggeri guadagni nella fedeltà visiva nell'uso di tecniche come questa valgano la perdita del budget del frame, in particolare se sarà estremamente difficile ottenere il giusto.

Per affrontare un aspetto della tua domanda:

Che dire del rendering di film animati per ore e ore li rende così belli mentre il rendering live in-game è meno bello (da un punto di vista generale)?

Artigianato, principalmente. Gli artisti in tempo reale non hanno la possibilità di mettere a punto ogni fotogramma o creare espedienti unici per migliorare l'aspetto generale di una scena o reazione, non solo a causa dei vincoli di tempo (sia nello sviluppo che nel rendering) ma anche perché di vincoli pratici. Come notato nel commento sull'interattività, il giocatore probabilmente non farà esattamente la stessa cosa ogni volta, ma il film verrà riprodotto sempre allo stesso modo.

Ciò significa che l'artista del videogioco ha una serie di priorità molto diverse per quanto riguarda la qualità del modello e la qualità di rendering finale rispetto all'artista del film. Entrambi richiedono enormi quantità di abilità, ma ognuno richiede tecniche diverse. Mi aspetto che queste tecniche convergano sempre più man mano che l'hardware di rendering a livello di consumatore continua a progredire e ulteriori geniali matematici continuano a emergere nei vostri SIGGRAPH e nei vostri GDC.

Un singolo film d'animazione potrebbe richiedere molti anni per essere riprodotto su una singola bestia di una macchina. Dato che è pre-renderizzato, non importa quanti effetti costosi come la luce rimbalza, le ombre, ecc. Aggiungiamo alla scena. Questi filmati di solito vengono renderizzati da farm di rendering in cui migliaia di PC sono collegati tra loro lavorando sullo stesso lavoro.

Il motivo per cui non possiamo ottenere la stessa qualità in tempo reale è semplicemente perché la macchina deve eseguire il rendering del fotogramma corrente in circa 16 ms per ottenere un FPS di 60. Un singolo fotogramma per un film d'animazione potrebbe richiedere ore per il rendering su un singolo PC.

In un gioco, oltre alla grafica, stanno succedendo molte altre cose. Ogni frame ci sono tonnellate di calcoli. Detto semplicemente, un film d'animazione non ha bisogno di calcolare i danni subiti dal giocatore da un lanciarazzi, devi solo animare i gib e i poligoni renderanno.

Fortunatamente ci sono alcune persone geniali che camminano su questo pianeta. Oltre ai migliori PC in grado di rendere più poligoni e trame più grandi, ci sono alcune ingegnose invenzioni fatte come normali mappe in grado di animare luce / ombra su un poligono piatto in modo molto economico, rendendo un noioso oggetto 3D incredibilmente dettagliato.

Alcuni di questi effetti costosi che rendono i film hanno quel bagliore extra.

• La luce rimbalza. Nella vita reale la luce rimbalza fino a quando non viene completamente assorbita dalle superfici su cui rimbalza. Per ciascuna sorgente luminosa devono essere effettuati calcoli. Prova a tenere un oggetto colorato accanto a un pezzo di carta bianca, vedrai il colore sanguinare sulla carta.
• I giochi hanno dure limitazioni sulla quantità di poligoni utilizzati, i film prerender non hanno queste limitazioni, ci vuole solo più tempo per il rendering. Tornando alla luce che rimbalza, se abbiamo più poligoni, allora ci sono più calcoli della luce per effetti visivi ancora migliori ma a scapito del costo esponenziale di crescita.
• Dimensione della trama, le schede grafiche possono contenere solo una certa quantità di dati e la commutazione di questi dati è costosa. Una comune trama 1024x1024 che include tutte le mappe shader potrebbe facilmente assorbire un paio di percentuali della tua scheda GFX da 1 GB. Quando la carta deve cambiare i dati, ciò ha un costo. Ovviamente non ci interessa così tanto quando si fa il pre-rendering di un film. Inoltre, in un film abbiamo solo bisogno di texture ad alta risoluzione in cui la telecamera si avvicina, per un gioco lo vogliamo per ogni oggetto a cui il giocatore può avvicinarsi.
• Il pathfinding è molto impegnativo per la CPU. Gli algoritmi di tracciamento del percorso, ad esempio, consentono ai nemici di trovare percorsi verso di te o far camminare il tuo giocatore quando fai clic da qualche parte. Queste indicazioni possono essere costose, quando ci sono 10000 waypoint (che sono solo ogni metro quadrato su una mappa 100m x 100m), allora è possibile che dobbiamo attraversare più volte questi waypoint su un singolo frame. Ci sono molti modi per renderlo più economico a seconda delle esigenze, ma il fatto è che non ne abbiamo bisogno per le scene pre-create.

In poche parole, dobbiamo inventare trucchi "economici" per rendere un gioco bello. Ma l'occhio umano è difficile da ingannare.