Incapace di capire lo strato di incorporamento lineare nella rete neurale convoluzionale?

Ho l' architettura di rete del documento "apprendere la somiglianza dell'immagine a grana fine con una classifica profonda" e non sono in grado di capire come l'output della rete a tre parallele viene unito utilizzando il livello di incorporamento lineare. Le uniche informazioni fornite su questo livello, nel documento sono

Infine, normalizziamo le decorazioni dalle tre parti e le combiniamo con uno strato di inclinazione lineare. La dimensione dell'incorporamento è 4096.

Qualcuno può aiutarmi a capire cosa intende esattamente l'autore quando parla di questo livello?

Il livello di incorporamento lineare deve essere solo un nome di fantasia per un livello denso senza attivazione. 'Lineare' significa che non c'è attivazione (l'attivazione è identità). E l'incorporamento è piuttosto un concetto per una rappresentazione vettoriale dei dati di input (ad es. Incorporamenti di parole). Credo che gli elementi del secondo vettore vengano semplicemente aggiunti al primo elemento.

È menzionato nel documento:

Un livello di normalizzazione locale normalizza la mappa delle caratteristiche attorno a un quartiere locale per avere la norma unitaria e la media zero. Conduce a mappe caratteristiche che sono robuste per le differenze di illuminazione e contrasto.

Prendono ogni parte del modello e lo normalizzano separatamente.

Per quanto riguarda la loro combinazione, come hai commentato, per catturare le caratteristiche più salienti, con una rappresentazione incompleta non è necessaria la non linearità.