Un elenco di funzioni di costo utilizzate nelle reti neurali, insieme alle applicazioni

133

Quali sono le funzioni di costo comuni utilizzate nella valutazione delle prestazioni delle reti neurali?

Dettagli

(sentiti libero di saltare il resto di questa domanda, il mio intento qui è semplicemente quello di fornire chiarimenti sulla notazione che le risposte possono usare per aiutarli a essere più comprensibili per il lettore generale)

Penso che sarebbe utile avere un elenco di funzioni di costo comuni, insieme ad alcuni modi in cui sono state utilizzate nella pratica. Quindi, se altri sono interessati a questo, penso che un wiki della comunità sia probabilmente l'approccio migliore, o possiamo eliminarlo se è fuori tema.

Notazione

Quindi, per iniziare, vorrei definire una notazione che tutti usiamo quando li descriviamo, quindi le risposte si adattano bene l'una all'altra.

Questa notazione è tratta dal libro di Neilsen .

Una rete neurale Feedforward è costituita da molti strati di neuroni collegati tra loro. Quindi accetta un input, che immette "gocciola" attraverso la rete e quindi la rete neurale restituisce un vettore di output.

Più formalmente, chiama $a^i_j$ l'attivazione (nota anche come output) del neurone $j^{th}$ nel livello $i^{th}$ , dove $a^1_j$ è l' elemento $j^{th}$ nel vettore di input.

Quindi possiamo mettere in relazione l'input del livello successivo con quello precedente tramite la seguente relazione:

$a^i_j = \sigma(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j)$

dove

è la funzione di attivazione, $\sigma$

è il peso della neurone del strato al neurone del strato, $w^i_{jk}$ $k^{th}$ $(i-1)^{th}$ $j^{th}$ $i^{th}$

è la distorsione delneurone nellostrato , e $b^i_j$ $j^{th}$ $i^{th}$

rappresenta il valore di attivazione delneurone nel livello . $a^i_j$ $j^{th}$ $i^th$

A volte scriviamo per rappresentare , in altre parole, il valore di attivazione di un neurone prima di applicare la funzione di attivazione. $z^i_j$ $\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j$

inserisci qui la descrizione dell'immagine

Per una notazione più concisa possiamo scrivere

$a^i = \sigma(w^i \times a^{i-1} + b^i)$

Per utilizzare questa formula per calcolare l'uscita di una rete feedforward certo input , impostare , allora computo , , ..., , dove m è il numero di strati. $I \in \mathbb{R}^n$ $a^1 = I$ $a^2$ $a^3$ $a^m$

introduzione

Una funzione di costo è una misura di "quanto buono" ha fatto una rete neurale rispetto al campione di addestramento fornito e all'output previsto. Può anche dipendere da variabili come pesi e distorsioni.

Una funzione di costo è un valore singolo, non un vettore, perché valuta la capacità della rete neurale nel suo insieme.

In particolare, una funzione di costo è del modulo

C (W, B, S^{r}, E^{r})

$C(W, B, S^r, E^r)$

dove è il peso della nostra rete neurale, è il pregiudizio della nostra rete neurale, è l'input di un singolo campione di training ed è l'output desiderato di quel campione di training. Nota che questa funzione può anche potenzialmente dipendere da e per qualsiasi neurone nel livello , poiché tali valori dipendono da , e . $W$ $B$ $S^r$ $E^r$ $y^i_j$ $z^i_j$ $j$ $i$ $W$ $B$ $S^r$

Nella backpropagazione, la funzione di costo viene utilizzata per calcolare l'errore del nostro livello di output, , tramite $\delta^L$

δ_{j}^{L} = \frac{\partial C}{\partial {un'}_{j}^{L}} σ^{'} (z_{j}^{io})

$\delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma^{ \prime}(z^i_j)$

Che può anche essere scritto come un vettore via

δ^{L} = \nabla_{un'} C ⊙ σ^{'} (z^{io})

$\delta^L = \nabla_a C \odot \sigma^{ \prime}(z^i)$

Forniremo il gradiente delle funzioni di costo in termini di seconda equazione, ma se si vogliono provare questi risultati da soli, si consiglia di utilizzare la prima equazione perché è più facile lavorare.

Requisiti della funzione di costo

Per essere utilizzata in backpropagation, una funzione di costo deve soddisfare due proprietà:

1: la funzione di costo deve essere in grado di essere scritta come media $C$

C = \frac{1}{n} \underset{X}{Σ} C_{X}

$C=\frac{1}{n} \sum\limits_x C_x$

funzioni di sovraccarico per singoli esempi di formazione, . $C_x$ $x$

Questo ci consente di calcolare il gradiente (rispetto a pesi e distorsioni) per un singolo esempio di allenamento ed eseguire Discesa gradiente.

2: La funzione di costo non deve essere dipendente da eventuali valori di attivazione di una rete neurale oltre l'uscita valori . $C$ $a^L$

Tecnicamente una funzione di costo può dipendere da qualsiasi o . Facciamo solo questa restrizione in modo da poter eseguire il backpropagte, perché l'equazione per trovare il gradiente dell'ultimo livello è l'unica che dipende dalla funzione di costo (il resto dipende dal livello successivo). Se la funzione di costo dipende da altri livelli di attivazione oltre a quello di output, la backpropagation non sarà valida perché l'idea di "gocciolamento all'indietro" non funziona più. $a^i_j$ $z^i_j$

Inoltre, le funzioni di attivazione devono avere un'uscita per tutto . Pertanto, queste funzioni di costo devono essere definite solo all'interno di tale intervallo (ad esempio, $0\leq a^L_j \leq 1$ $j$ è valido poiché ci è garantito). $\sqrt{a^L_j}$ $a^L_j \geq 0$

machine-learning neural-networks

— Phylliida
fonte

Questo è un sito di domande e risposte, e il formato di questo post non corrisponde proprio a quello. Probabilmente dovresti inserire la maggior parte dei contenuti in una risposta e lasciare solo la domanda (ad esempio, che cos'è un elenco di funzioni di costo utilizzate nelle NN?).

— Roger Fan,

Va bene, va meglio? Penso che le definizioni siano importanti, altrimenti le risposte diventano vaghe per coloro che non hanno familiarità con la terminologia utilizzata dallo scrittore.

— Phylliida,

Ma cosa succede se una risposta diversa utilizza notazione o terminologia diversa?

— Roger Fan,

L'idea è che tutti usano la stessa terminologia qui, e che se è diversa la convertiamo in questa, quindi le risposte "si adattano" l'una all'altra. Ma suppongo che potrei rimuovere quel pezzo se non pensi che sia utile.

— Phylliida,

Penso solo che i dettagli in cui si pone la domanda non siano realmente necessari o pertinenti. Sembra un po 'eccessivo e limitante, ma sono solo io.

— Roger Fan,

Risposte:

Ecco quelli che ho capito finora. La maggior parte di questi funzionano meglio quando vengono dati valori compresi tra 0 e 1.

Costo quadratico

Conosciuto anche come errore al quadrato medio , massima probabilità ed errore al quadrato della somma , questo è definito come:

C_{M S T} (W, B, S^{r}, E^{r}) = 0.5 \underset{j}{Σ} ({un'}_{j}^{L} - E_{j}^{r})^{2}

$C_{MST}(W, B, S^r, E^r) = 0.5\sum\limits_j (a^L_j - E^r_j)^2$

Il gradiente di questa funzione di costo rispetto all'output di una rete neurale e alcuni esempi è: $r$

\nabla_{un'} C_{M S T} = ({un'}^{L} - E^{r})

$\nabla_a C_{MST} = (a^L - E^r)$

Costo di entropia incrociata

Conosciuto anche come verosimiglianza negativa di Bernoulli ed entropia binaria incrociata

C_{C E} (W, B, S^{r}, E^{r}) = - \underset{j}{Σ} [E_{j}^{r} ln {un'}_{j}^{L} + (1 - E_{j}^{r}) ln (1 - {un'}_{j}^{L})]

$C_{CE}(W, B, S^r, E^r) = -\sum\limits_j [E^r_j \text{ ln } a^L_j + (1 - E^r_j) \text{ ln }(1-a^L_j)]$

Il gradiente di questa funzione di costo rispetto all'output di una rete neurale e alcuni esempi è: $r$

\nabla_{un'} C_{C E} = \frac{({un'}^{L} - E^{r})}{(1 - {un'}^{L}) ({un'}^{L})}

$\nabla_a C_{CE} = \frac{(a^L - E^r)}{(1-a^L)(a^L)}$

Costo esponenziale

$\tau$

C_{E X P} (W, B, S^{r}, E^{r}) = τ \exp (\frac{1}{τ} \underset{j}{Σ} ({un'}_{j}^{L} - E_{j}^{r})^{2})

$C_{EXP}(W, B, S^r, E^r) = \tau\text{ }\exp(\frac{1}{\tau} \sum\limits_j (a^L_j - E^r_j)^2)$

$\text{exp}(x)$ $e^x$

Il gradiente di questa funzione di costo rispetto all'output di una rete neurale e alcuni esempi r $r$

\nabla_{un'} C = \frac{2}{τ} ({un'}^{L} - E^{r}) C_{E X P} (W, B, S^{r}, E^{r})

$\nabla_a C = \frac{2}{\tau}(a^L- E^r)C_{EXP}(W, B, S^r, E^r)$

$C_{EXP}$ $C_{EXP}$

Distanza Hellinger

C_{H D} (W, B, S^{r}, E^{r}) = \frac{1}{\sqrt{2}} \underset{j}{Σ} (\sqrt{{un'}_{j}^{L}} - \sqrt{E_{j}^{r}})^{2}

$C_{HD}(W, B, S^r, E^r) = \frac{1}{\sqrt{2}}\sum\limits_j(\sqrt{a^L_j}-\sqrt{E^r_j})^2$

$0$ $1$

Il gradiente di questa funzione di costo rispetto all'output di una rete neurale e alcuni esempi r $r$

\nabla_{un'} C = \frac{\sqrt{{un'}^{L}} - \sqrt{E^{r}}}{\sqrt{2} \sqrt{{un'}^{L}}}

$\nabla_a C = \frac{\sqrt{a^L}-\sqrt{E^r}}{\sqrt{2}\sqrt{a^L}}$

Divergenza di Kullback-Leibler

Conosciuto anche come divergenza di informazioni , guadagno di informazioni , entropia relativa , KLIC o divergenza di KL (Vedi qui ).

D_{K L} (P ‖ Q) = \underset{io}{Σ} P (io) \ln \frac{P (io)}{Q (io)}

$D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \, \ln\frac{P(i)}{Q(i)}$

$D_{\mathrm{KL}}(P\|Q)$ $Q$ $P$ $P=E^i$ $Q=a^L$ $a^i_j$ $E^i_j$

C_{K L} (W, B, S^{r}, E^{r}) = \underset{j}{Σ} E_{j}^{r} ceppo \frac{E_{j}^{r}}{{un'}_{j}^{L}}

$C_{KL}(W, B, S^r, E^r)=\sum\limits_jE^r_j \log \frac{E^r_j}{a^L_j}$

$P=E^i$ $Q=a^L$

Il gradiente di questa funzione di costo rispetto all'output di una rete neurale e alcuni esempi r $r$

\nabla_{un'} C = - \frac{E^{r}}{{un'}^{L}}

$\nabla_a C = -\frac{E^r}{a^L}$

Divergenza generalizzata di Kullback-Leibler

Da qui .

C_{sol K L} (W, B, S^{r}, E^{r}) = \underset{j}{Σ} E_{j}^{r} ceppo \frac{E_{j}^{r}}{{un'}_{j}^{L}} - \underset{j}{Σ} (E_{j}^{r}) + \underset{j}{Σ} ({un'}_{j}^{L})

$C_{GKL}(W, B, S^r, E^r)=\sum\limits_j E^r_j \log \frac{E^r_j}{a^L_j} -\sum\limits_j(E^r_j) + \sum\limits_j(a^L_j)$

Il gradiente di questa funzione di costo rispetto all'output di una rete neurale e alcuni esempi r $r$

\nabla_{un'} C = \frac{{un'}^{L} - E^{r}}{{un'}^{L}}

$\nabla_a C = \frac{a^L-E^r}{a^L}$

Distanza Itakura – Saito

Anche da qui .

C_{sol K L} (W, B, S^{r}, E^{r}) = \underset{j}{Σ} (\frac{E_{j}^{r}}{{un'}_{j}^{L}} - ceppo \frac{E_{j}^{r}}{{un'}_{j}^{L}} - 1)

$C_{GKL}(W, B, S^r, E^r)= \sum_j \left(\frac {E^r_j}{a^L_j} - \log \frac{E^r_j}{a^L_j} - 1 \right)$

Il gradiente di questa funzione di costo rispetto all'output di una rete neurale e alcuni esempi r $r$

\nabla_{un'} C = \frac{{un'}^{L} - E^{r}}{{({un'}^{L})}^{2}}

$\nabla_a C = \frac{a^L-E^r}{\left(a^L\right)^2}$

$\left(\left(a^L\right)^2\right)_j = a^L_j \cdot a^L_j$ $\left( a^L\right) ^2$ $a^L$

— Phylliida
fonte

Grazie per la condivisione, puoi anche considerare questi: github.com/torch/nn/blob/master/doc/criterion.md

— Yannis Assael

si dispone di un piccolo errore nel denominatore del derivato cross-entropia, dovrebbe essere a*(1-a)nona*(1+a)

— Amro

Sarebbe anche bello mostrare la funzione di perdita del flipper per minimizzare i quantili di errore piuttosto che l'errore medio. Molto utilizzato nei sistemi di supporto alle decisioni.

— Ricardo Cruz,

dove posso vedere i grafici per questi?

— coiso,

\neq

$\neq$

\neq

$\neq$

Non hai la reputazione di commentare, ma ci sono errori di segno negli ultimi 3 gradienti.

\begin{aligned} C & = \underset{j}{Σ} E_{j} ceppo (E_{j} / {un'}_{j}) \\ = \underset{j}{Σ} E_{j} ceppo (E_{j}) - E_{j} ceppo ({un'}_{j}) \\ d C & = - \underset{j}{Σ} E_{j} d ceppo ({un'}_{j}) \\ = - \underset{j}{Σ} (E_{j} / {un'}_{j}) d {un'}_{j} \\ \nabla_{un'} C & = \frac{- E}{un'} \end{aligned}

$\eqalign{ C &= \sum_j E_j\log(E_j/a_j) \cr &= \sum_j E_j\log(E_j) - E_j\log(a_j) \cr\cr dC &= -\sum_j E_j\,\,d\log(a_j) \cr &= -\sum_j (E_j/a_j)\,da_j \cr\cr \nabla_a C &= \frac{-E}{a} \cr\cr }$ Questo stesso errore di segno appare nella divergenza di KL generalizzata.

\begin{aligned} C & = \underset{j}{Σ} (E_{j} / {un'}_{j}) - ceppo (E_{j} / {un'}_{j}) - 1 \\ = \underset{j}{Σ} (E_{j} / {un'}_{j}) - ceppo (E_{j}) + ceppo ({un'}_{j}) - 1 \\ d C & = \underset{j}{Σ} (- E_{j} / {un'}_{j}^{2}) d {un'}_{j} + d ceppo ({un'}_{j}) \\ = \underset{j}{Σ} (1 / {un'}_{j}) d {un'}_{j} - (E_{j} / {un'}_{j}^{2}) d {un'}_{j} \\ = \underset{j}{Σ} ({un'}_{j} - E_{j}) / {un'}_{j}^{2} d {un'}_{j} \\ \nabla_{un'} C & = \frac{un' - E}{(un')^{2}} \end{aligned}

$\eqalign{ C &= \sum_j (E_j/a_j) - \log(E_j/a_j) - 1 \cr &= \sum_j (E_j/a_j) - \log(E_j) + \log(a_j) -1 \cr\cr dC &= \sum_j (-E_j/a^2_j)\,da_j + d\log(a_j) \cr &= \sum_j (1/a_j)\,da_j - (E_j/a^2_j)\,da_j \cr &= \sum_j (a_j-E_j)/a^2_j\,\,\,da_j \cr\cr \nabla_a C &= \frac{a-E}{(a)^2} \cr }$

— Franco
fonte