Che cos'è il deep learning bayesiano?

13

Che cos'è il deep learning bayesiano e in che modo si collega alle statistiche bayesiane tradizionali e al deep learning tradizionale?

Quali sono i concetti e la matematica principali coinvolti? Potrei dire che sono solo statistiche bayesiane non parametriche? Quali sono le sue opere fondamentali, nonché i suoi attuali sviluppi e applicazioni principali?

PS: Bayesian Deep Learning sta attirando molta attenzione, vedi il workshop NIPS.

bayesian deep-learning

— statslearner
fonte

10

Uscendo dal collegamento al seminario NIPS, Yee Whye Teh ha tenuto un discorso programmatico al NIPS sul Bayesian Deep Learning (video: https://www.youtube.com/watch?v=LVBvJsTr3rg , slide: http: //csml.stats. ox.ac.uk/news/2017-12-08-ywteh-breiman-lecture/). Penso che ad un certo punto del discorso, Teh abbia riassunto il deep learning bayesiano come applicazione del framework bayesiano alle idee di deep learning (come l'apprendimento di un posteriore sui pesi di una rete neurale), e il deep bayesiano come applicazione di idee dal deep learning al Quadro bayesiano (come processi gaussiani profondi o famiglie esponenziali profonde). Ci sono ovviamente idee che si trovano a cavallo tra i due concetti, come gli autoencoder variazionali. Quando la maggior parte delle persone dice l'apprendimento profondo bayesiano, di solito significano una delle due cose, e ciò si riflette nei documenti accettati nel seminario che hai collegato (insieme al seminario dell'anno precedente). Mentre le idee risalgono al lavoro di Neal sull'apprendimento bayesiano delle reti neurali negli anni '90 (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.446.9306&rep=rep1&type=pdf ), e da allora c'è stato lavoro negli anni, probabilmente uno dei più recenti documenti recenti sarebbe il carta per autoencoder variazionale originale ( https://arxiv.org/pdf/1312.6114.pdf ).

— aleshing
fonte

10

Suggerirei prima di tutto di capire quale sia il modello probabilistico sottostante in una tradizionale rete neurale bayesiana. Di seguito, alcuni termini verranno scritti in grassetto . Per favore, prova a cercare su Google quei termini per trovare informazioni più dettagliate. Questa è solo una panoramica di base. Spero possa essere d'aiuto.

Consideriamo il caso della regressione nelle reti neurali feedforward e stabiliamo qualche notazione.

Let denotano i valori dei predittori sul livello di input . I valori di $(x_1,\dots,x_p) =: \left(z^{(0)}_1,\dots,z^{(0)}_{N_0}\right)$ unità negli strati interni saranno indicati con , per $\left(z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell}\right)$ . Infine, abbiamo illivello di output . $\ell=1,\dots,L-1$ $(y_1,\dots,y_k) =:\left(z^{(L)}_1,\dots,z^{(L)}_{N_L}\right)$

I pesi e la polarizzazione dell'unità sullo strato saranno indicati con e , rispettivamente, per , e . $i$ $\ell$ $w^{(\ell)}_{ij}$ $b^{(\ell)}_i$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$ $j=1,\dots,N_{\ell-1}$

Sia la funzione di attivazione per l'unità allo strato , per e . $g^{(\ell)}_i : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}$ $i$ $\ell$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$

Le funzioni di attivazione comunemente utilizzate sono la logistica , ReLU (aka parte positiva ) e tanh .

Ora, per , definisci le funzioni di transizione del livello $\ell=1,\dots,L$ in cui

{sol}^{(ℓ)} : R^{N_{ℓ - 1}} \to R^{N_{ℓ}} : (z_{1}^{(ℓ - 1)}, ..., z_{N_{ℓ - 1}}^{(ℓ - 1)}) \mapsto (z_{1}^{(ℓ)}, ..., z_{N_{ℓ}}^{(ℓ)}),

$G^{(\ell)} : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}^{N_\ell} : \left(z^{(\ell-1)}_1,\dots,z^{(\ell-1)}_{N_{\ell-1}} \right) \mapsto \left( z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell} \right),$

per

.

z_{io}^{(ℓ)} = g_{io}^{(ℓ)} (Σ_{j = 1}^{N_{ℓ - 1}} w_{io j}^{(ℓ)} z_{j}^{(ℓ - 1)} + B_{io}^{(ℓ)}),

$z^{(\ell)}_i = g^{(\ell)}_i\!\left( \sum_{j=1}^{N_{\ell-1}} w^{(\ell)}_{ij} z^{(\ell-1)}_j + b^{(\ell)}_i\right),$

i = 1, \dots, N_{ℓ}

$i=1,\dots,N_{\ell}$

Indica l'insieme di pesi e distorsioni di tutte le unità in tutti i livelli di , ovvero $\theta$ nostra rete neurale è la famiglia di funzioni ottenuta dalla composizione delle funzioni di transizione del livello:

θ = {w_{io j}^{(ℓ)}, B_{io}^{(ℓ)} : ℓ = 1, ..., L; io = 1 ..., N_{ℓ}; j = 1, ..., N_{ℓ - 1}},

$\theta = \left\{ w^{(\ell)}_{ij},b^{(\ell)}_i : \ell=1,\dots,L \,;\, i=1\dots,N_\ell \,;\, j=1,\dots,N_{\ell-1} \right\},$

G_{θ} : R^{p} \to R^{k}

$G_\theta : \mathbb{R}^p\to\mathbb{R}^k$

{sol}_{θ} = {sol}^{(L)} \circ {sol}^{(L - 1)} \circ \dots \circ {sol}^{(1)} .

$G_\theta = G^{(L)} \circ G^{(L-1)} \circ \dots \circ G^{(1)}.$

Non ci sono probabilità coinvolte nella descrizione sopra. Lo scopo del business originale della rete neurale è adattamento delle funzioni .

Il "profondo" nel Deep Learning rappresenta l'esistenza di molti strati interni nelle reti neurali in esame.

$\{ (\mathbf{x}_i,\mathbf{y}_i) \in \mathbb{R}^p\times\mathbb{R}^k : i = 1,\dots,n \}$

Σ_{io = 1}^{n} ‖ y_{io} - {sol}_{θ} (X_{io}) ‖^{2},

$\sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2,$

θ

$\theta$

x^{*}

$\mathbf{x}^*$

G_{\hat{θ}} (x^{*})

$G_\hat{\theta}(\mathbf{x}^*)$

\hat{θ}

$\hat{\theta}$ come la penalità per la funzione obiettivo o l'uso del dropout durante l'allenamento. Geoffrey Hinton (aka Deep Learning Godfather) e collaboratori hanno inventato molte di queste cose. Le storie di successo del Deep Learning sono ovunque.

L_{X, y} (θ, σ^{2}) α σ^{- n} \exp (- \frac{1}{2 σ^{2}} Σ_{io = 1}^{n} ‖ y_{io} - {sol}_{θ} (X_{io}) ‖^{2}),

$L_{\mathbf{x},\mathbf{y}}(\theta,\sigma^2)\propto \sigma^{-n} \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2\right),$

π (θ, σ^{2}) α \exp (- \frac{1}{2 σ_{0}^{2}} Σ_{ℓ = 1}^{L} Σ_{io = 1}^{N_{ℓ}} ({(B_{io}^{(ℓ)})}^{2} + Σ_{j = 1}^{N_{ℓ - 1}} {(w_{io j}^{(ℓ)})}^{2})) \times π (σ^{2}) .

$\pi(\theta,\sigma^2) \propto \exp\left( -\frac{1}{2\sigma_0^2} \sum_{\ell=1}^L \sum_{i=1}^{N_\ell} \left( \left(b^{(\ell)}_i\right)^2 + \sum_{j=1}^{N_{\ell-1}} \left(w^{(\ell)}_{ij}\right)^2 \right) \right) \times \pi(\sigma^2).$

Pertanto, i priori marginali per pesi e distorsioni sono distribuzioni normali con media zero e varianza comune $\sigma_0^2$ . Questo modello comune originale può essere reso molto più coinvolto, con il compromesso di rendere più difficile l'inferenza.

Il Bayesian Deep Learning affronta il difficile compito di campionare dalla corrispondente distribuzione posteriore. Dopo che questo è stato realizzato, le previsioni vengono fatte naturalmente con la distribuzione predittiva posteriore e le incertezze coinvolte in queste previsioni sono pienamente quantificate. Il Santo Graal nel Bayesian Deep Learning è la costruzione di una soluzione efficiente e scalabile. In questa ricerca sono stati usati molti metodi computazionali: campionamento di Metropolis-Hastings e Gibbs , Hamiltonian Monte Carlo e, più recentemente, Inferenza variazionale .

Guarda i video della conferenza NIPS per alcune storie di successo: http://bayesiandeeplearning.org/

— zen
fonte