Qualcuno può spiegare l'algoritmo di retro-propagazione? [duplicare]

13

Cos'è l'algoritmo di retro-propagazione e come funziona?

algorithms optimization neural-networks

— Ami
fonte

1

Ho messo insieme una risposta a questa domanda qui se qualcuno è interessato (non ho voglia di ripubblicare).

— Phylliida,

14

L'algoritmo di propagazione posteriore è un algoritmo di discesa gradiente per l'adattamento di un modello di rete neurale. (come menzionato da @Dikran) Lasciami spiegare come.

Formalmente: l' uso del calcolo del gradiente alla fine di questo post all'interno dell'equazione [1] di seguito (ovvero una definizione della discesa del gradiente) fornisce l'algoritmo di propagazione posteriore come un caso particolare dell'uso di una discesa del gradiente.

Un modello di rete neurale Formalmente, risolviamo idee con un semplice modello a singolo strato:

dove e sono noti per tutti , e

f (x) = g (A^{1} (s (A^{2} (x))))

$f(x)=g(A^1(s(A^2(x))))$

g : R \to R

$g:\mathbb{R} \rightarrow \mathbb{R}$

s : R^{M} \to R^{M}

$s:\mathbb{R}^M\rightarrow \mathbb{R}^M$

m = 1 \dots, M

$m=1\dots,M$

s (x) [m] = σ (x [m])

$s(x)[m]=\sigma(x[m])$

,

sono funzioni affini sconosciute. La funzione

è chiamata funzione di attivazione nel quadro della classificazione.

A^{1} : R^{M} \to R

$A^1:\mathbb{R}^M\rightarrow \mathbb{R}$

A^{2} R^{p} \to R^{M}

$A^2\mathbb{R}^p\rightarrow \mathbb{R}^M$

σ : R \to R

$\sigma:\mathbb{R}\rightarrow \mathbb{R}$

Una funzione di perdita quadratica viene utilizzata per correggere le idee. Quindi i vettori di input di possono essere adattati all'output reale di (potrebbero essere vettori) minimizzando la perdita empirica: $(x_1,\dots,x_n)$ $\mathbb{R}^p$ $(y_1,\dots,y_n)$ $\mathbb{R}$ rispetto alla scelta di e .

R_{n} (A^{1}, A^{2}) = \sum_{i = 1}^{n} (y_{i} - f (x_{i}))^{2} [1]

$\mathcal{R}_n(A^1,A^2)=\sum_{i=1}^n (y_i-f(x_i))^2\;\;\;\;\;\;\; [1]$

A^{1}

$A^1$

A^{2}

$A^2$

$\mathcal{R}$

a_{l + 1} = a_{l} - γ_{l} \nabla R (a_{l}), l \geq 0.

$\mathbf{a}_{l+1}=\mathbf{a}_l-\gamma_l \nabla \mathcal{R}(\mathbf{a}_l),\ l \ge 0.$

(γ_{l})_{l}

$(\gamma_l)_l$

R

$\mathcal{R}$

a_{l} = (A_{l}^{1}, A_{l}^{2})

$\mathbf{a}_l=(A^1_{l},A^2_{l})$

$\mathcal{R}$ $\nabla_1 \mathcal{R}$ $\mathcal{R}$ $A^1$ $\nabla_2\mathcal{R}$ $\mathcal{R}$ $A^2$ $z_i=A^1(s(A^2(x_i)))$

\nabla_{1} R [1 : M] = - 2 \times \sum_{i = 1}^{n} z_{i} g^{'} (z_{i}) (y_{i} - f (x_{i}))

$\nabla_1 \mathcal{R}[1:M] =-2\times \sum_{i=1}^n z_i g'(z_i) (y_i-f(x_i))$

m = 1, \dots, M

$m=1,\dots,M$

\nabla_{2} R [1 : p, m] = - 2 \times \sum_{i = 1}^{n} x_{i} g^{'} (z_{i}) z_{i} [m] σ^{'} (A^{2} (x_{i}) [m]) (y_{i} - f (x_{i}))

$\nabla_2 \mathcal{R}[1:p,m] =-2\times \sum_{i=1}^n x_i g'(z_i) z_i[m]\sigma'(A^2(x_i)[m]) (y_i-f(x_i))$

$x[a:b]$ $x$ $a$ $b$

— pettirosso
fonte

11

La retro-propulsione è un modo di elaborare la derivata della funzione di errore rispetto ai pesi, in modo che il modello possa essere addestrato con metodi di ottimizzazione della discesa del gradiente - è fondamentalmente solo l'applicazione della "regola della catena". Non c'è molto di più, quindi se ti senti a tuo agio con il calcolo, questo è fondamentalmente il modo migliore per vederlo.

Se non ti senti a tuo agio con il calcolo, un modo migliore sarebbe dire che sappiamo quanto male stanno facendo le unità di output perché abbiamo un output desiderato con cui confrontare l'output effettivo. Tuttavia non abbiamo l'output desiderato per le unità nascoste, quindi cosa facciamo? La regola di retropropagazione è fondamentalmente un modo per scartare la colpa per l'errore delle unità di output sulle unità nascoste. Maggiore è l'influenza di un'unità nascosta su una determinata unità di output, maggiore è la colpa che riceve per l'errore. La colpa totale associata a un'unità nascosta fornisce quindi un'indicazione di quanto devono essere modificati i pesi del livello da input a nascosto. Le due cose che governano la quantità di colpa che viene restituita è il peso che collega i pesi dello strato nascosto e di output (ovviamente) e l'output dell'unità nascosta (se urla piuttosto che sussurrare è probabile che abbia un'influenza maggiore). Il resto sono solo le bellezze matematiche che trasformano quell'intuizione nella derivata del criterio di allenamento.

Consiglierei anche il libro dei Vescovi per una risposta adeguata! ; O)

— Dikran Marsupial
fonte

2

È un algoritmo per l'addestramento di reti neurali multistrato feedforward (percetroni multistrato). Ci sono molte belle applet Java sul Web che illustrano cosa sta succedendo, come questa: http://neuron.eng.wayne.edu/bpFunctionApprox/bpFunctionApprox.html . Inoltre, il libro di Bishop sulle NN è il riferimento standard per qualsiasi cosa abbia a che fare con le NN.

— Stephen Turner
fonte

Nel tentativo di creare un repository permanente di informazioni statistiche di alta qualità sotto forma di domande e risposte, cerchiamo di evitare risposte solo link . Se ci riesci, potresti ampliarlo, magari fornendo un riepilogo delle informazioni al link?

— Glen_b -Restate Monica