La funzione di errore di entropia incrociata nelle reti neurali

Nel MNIST per principianti ML definiscono l'entropia incrociata come

$y_i$ è il valore di probabilità previsto per la classe e è la vera probabilità per quella classe.$i$$y_i'$

Domanda 1

Non è un problema che (in ) possa essere 0? Ciò significherebbe che abbiamo un pessimo classificatore, ovviamente. Ma pensa a un errore nel nostro set di dati, ad esempio un "ovvio" etichettato come . Si schianterebbe semplicemente? Il modello che abbiamo scelto (attivazione softmax alla fine) non dà praticamente mai la probabilità 0 per la classe corretta?$y_i$$\log(y_i)$13

Domanda 2

Ho imparato che l'entropia incrociata è definita come

Cosa è corretto? Hai riferimenti a libri di testo per entrambe le versioni? In che modo tali funzioni differiscono nelle loro proprietà (come funzioni di errore per le reti neurali)?

Un modo di interpretare l'entropia incrociata è vederlo come una (meno) verosimiglianza logaritmica per i dati $y_i'$ , secondo un modello $y_i$ .

Vale a dire, supponiamo di avere un modello fisso (noto anche come "ipotesi"), che prevede $n$ classi $\{1,2,\dots, n\}$ loro ipotetiche probabilità di occorrenza y 1 , y 2 , ... , y n . Supponi ora di osservare (in realtà) k 1 istanze di classe 1 , k 2 istanze di classe 2 , k n istanze di classe n , ecc. Secondo il tuo modello, la probabilità che ciò accada è: P [ d a t a | m o d e l ] : = y k 1 1 y k 2 2 2 - ⋯ - k n log y n = - ∑ i k i$y_1, y_2,\dots, y_n$$k_1$$1$$k_2$$2$$k_n$$n$

Inoltre, la probabilità logaritmica di un set di dati dato un modello può essere interpretata come una misura della "lunghezza di codifica" - il numero di bit che si prevede di spendere per codificare queste informazioni se il proprio schema di codifica si basasse sulla propria ipotesi.

Ciò deriva dall'osservazione che un evento indipendente con probabilità $y_i$ richiede almeno $-\log_2 y_i$ bit per codificare esso (supponendo codifica efficiente), e di conseguenza l'espressione

Infine, invece di dire "misura della lunghezza di codifica prevista", mi piace molto usare il termine informale "misura di sorpresa". Se hai bisogno di molti bit per codificare un evento previsto da una distribuzione, la distribuzione è "davvero sorprendente" per te.

Con queste intuizioni in mente, le risposte alle tue domande possono essere viste come segue:

• Domanda 1 . Sì. È un problema ogni volta che lo $y_i'$ corrispondente è diverso da zero allo stesso tempo . Corrisponde alla situazione in cui il tuo modello crede che una classe abbia zero probabilità di accadimento, eppure la classe si apre nella realtà. Di conseguenza, la "sorpresa" del tuo modello è infinitamente grande: il tuo modello non ha tenuto conto di quell'evento e ora ha bisogno di infiniti bit per codificarlo. Ecco perché ottieni l'infinito come tua entropia incrociata.

  Per evitare questo problema, devi assicurarti che il tuo modello non faccia ipotesi avventate su qualcosa che è impossibile mentre può accadere. In realtà, le persone tendono ad usare le funzioni sigmoide o "softmax" come modelli di ipotesi, che sono abbastanza conservative da lasciare almeno qualche possibilità per ogni opzione.

  Se usi qualche altro modello di ipotesi, spetta a te regolarizzarlo (alias "smooth") in modo che non ipotizzi zero dove non dovrebbe.

• Domanda 2 . In questa formula, si presume di solito $y_i'$ sia$0$o$1$, mentre$y_i$è l'ipotesi di probabilità del modello per l'input corrispondente. Se guardi da vicino, vedrai che è semplicemente un$-\log P[data|model]$per i dati binari, un equivalente della seconda equazione in questa risposta.

  Quindi, a rigor di termini, sebbene sia ancora una probabilità logaritmica, questo non è sintatticamente equivalente all'entropia incrociata. Ciò che alcune persone intendono quando si riferiscono a un'espressione come l' entropia incrociata è che in realtà è una somma sulle entropie binarie binarie per singoli punti nel set di dati:

  $$\sum_i H(y_i', y_i),$$ dove$y_i'$ e$y_i$ devono essere interpretati come le corrispondenti distribuzioni binarie$(y_i', 1-y_i')$ e$(y_i, 1-y_i)$ .

La prima formula di logloss che stai utilizzando è per la perdita di log multiclasse, in cui l' iscrizione enumera le diverse classi in un esempio. La formula presuppone che un singolo y ' i in ciascun esempio sia 1, e il resto sia tutto 0.$i$$y_i'$

Ciò significa che la formula acquisisce solo errori sulla classe target. Elimina qualsiasi nozione di errori che potresti considerare "falsi positivi" e non si preoccupa di come le probabilità previste sono distribuite oltre alla probabilità prevista della classe reale.

Un altro presupposto è che per le previsioni di ciascun esempio. Un layer softmax lo fa automaticamente - se usi qualcosa di diverso dovrai ridimensionare gli output per soddisfare quel vincolo.$\sum_i y_i = 1$

Domanda 1

Non è un problema che il (in l o g ( y i ) ) potrebbe essere 0?$y_i$$log(y_i)$

Sì, può essere un problema, ma di solito non è pratico. È estremamente improbabile che uno strato di softmax inizializzato casualmente produca un esatto 0in qualsiasi classe. Ma è possibile, quindi vale la pena permetterlo. Innanzitutto, non valutare per qualsiasi y ′ i = 0 , poiché le classi negative contribuiscono sempre 0 all'errore. In secondo luogo, nel codice pratico è possibile limitare il valore a qualcosa di similealla stabilità numerica: in molti casi non è necessario, ma si tratta di una ragionevole programmazione difensiva.$log(y_i)$$y_i'=0$log( max( y_predict, 1e-15 ) )

Domanda 2

Ho imparato che l'entropia incrociata è definita come $H_{y'}(y) := - \sum_{i} ({y_i' \log(y_i) + (1-y_i') \log (1-y_i)})$

Questa formulazione viene spesso utilizzata per una rete con un output che prevede due classi (in genere appartenenza alla classe positiva per 1 e negativa per 0 output). In tal caso avere un solo valore: puoi perdere la somma su i .$i$$i$

Se modifichi una tale rete per avere due output opposti e usi softmax più la prima definizione di logloss, allora puoi vedere che in realtà si tratta della stessa misurazione dell'errore ma che piega la metrica dell'errore per due classi in un singolo output.

Se è prevista più di una classe per prevedere l'appartenenza e le classi non sono esclusive, ad esempio un esempio potrebbe essere una o tutte le classi contemporaneamente, sarà necessario utilizzare questa seconda formulazione. Per il riconoscimento delle cifre che non è il caso (una cifra scritta dovrebbe avere solo una classe "vera")

Dato , si desidera ottimizzare il vostro metodo di apprendimento della macchina per ottenere la y p r e d i C T il più vicino possibile ai$y_{true}$$y_{predict}$ .$y_{true}$

Prima domanda:

La risposta sopra ha spiegato lo sfondo della tua prima formula, l'entropia incrociata definita nella teoria dell'informazione.

Da un'opinione diversa dalla teoria dell'informazione:

puoi esaminare te stesso che la prima formula non ha penalità per la falsa positività (la verità è falsa ma il tuo modello prevede che sia giusta), mentre la seconda ha una penalità per la falsa positività. Pertanto, la scelta della prima formula o della seconda influenzerà le tue metriche (ovvero la quantità statistica che desideri utilizzare per valutare il tuo modello).

In parole profani:

Se vuoi accettare che quasi tutte le persone buone diventino tuoi amici, ma che desideri accettare alcune persone cattive, diventa tuo amico, quindi usa la prima formula per criterio.

Se vuoi punirti accettando che alcune persone cattive siano tue amiche, ma allo stesso tempo il tuo tasso di accettazione delle persone buone potrebbe essere inferiore alla prima condizione, quindi usa la seconda formula.

Mentre, immagino che molti di noi siano critici e vorrebbero scegliere il secondo (così come molti pacchetti ML assumono ciò che è l'entropia incrociata).

Seconda domanda:

Pertanto, quando ci sono solo due classi (K = 2), avrai la seconda formula.

Questi problemi sono gestiti dall'uso del tutorial di softmax.

Per 1) hai ragione sul fatto che softmax garantisce un output diverso da zero perché esponenzia il suo input. Per le attivazioni che non danno questa garanzia (come relu), è semplice aggiungere un termine positivo molto piccolo a ogni output per evitare quel problema.

Per quanto riguarda 2), non sono ovviamente gli stessi, ma io la formulazione di softmax che hanno dato si occupa del problema. Se non avessi usato softmax, questo avrebbe portato a imparare termini di bias enormi che indovinano 1 per ogni classe per qualsiasi input. Ma poiché normalizzano il softmax in tutte le classi, l'unico modo per massimizzare l'output della classe corretta è che sia grande rispetto alle classi errate.

$y_i$$\log(y_i)$

$\log(0)$$\log(y_i + \epsilon)$

$H_{y'} (y) := - \sum_{i} y_{i}' \log (y_i)$
$H_{y'}(y) := - \sum_{i} ({y_i' \log(y_i) + (1-y_i') \log(1-y_i)})$

(a) è corretto per la previsione multi-classe (in realtà è una doppia somma), (b) è lo stesso di (a) per la previsione a due classi. Entrambi sono entropia incrociata.

Esempio:

$x_i$$c_i' \in \{0, 1\}$$c_i \in [0, 1]$ .

$c_i'$$c_i$

$(c_i', c_i)=\{(0, 0.1), (0, 0.4), (0, 0.8), (1, 0.8), (1, 0.2)\}$

$y_i'$$y_i$

• $y_{ik}':=1$$c_i'=k$$:=0$

• $y_{ik}:=p(k|x_i)$$x_i$$k$

$(y_i', y_i)$

$(y_i', y_i)=\{([1, 0], [0.9, 0.1]),$ $([1, 0], [0.6, 0.4]),$ $([1, 0], [0.2, 0.8]),$ $([0, 1], [0.2, 0.8]),$ $([0, 1], [0.8, 0.2])\}$

Sia (a) che (b) sono calcolati come:

$H_{y'}(y)=-1/5([log(0.9)+log(0.6) + log(0.2)]_{c_i=0} + [log(0.8) + log(0.2)]_{c_i=1}) = 0.352$

Derivazione:

$1$$K$
$(x_i, c_i')$$c_i' = k$$y_i'=[0,..,1,0,..]$$k^{th}$$y_{ik}'=1$$y_{ik}=p(k|x_i)$$(x_i, k)$$-log(y_{ik})$$y_{ik} \rightarrow 1 \Rightarrow -log(y_{ik}) \rightarrow 0$

$L(y_i', y_i) = -\sum_{k=1}^{K}y_{ik}'log(y_{ik})$

$y_{ik}' = 1$$k' \neq k$$0log(y_{ik'})=0$$y_{im}'=1$

$L(y_i', y_i)=-log(y_{im})$

La formula finale su tutti i punti di allenamento è:

$H_{y'}(y)=-\sum_{(x_i, y_i')}\sum_{k=1}^{K}y_{ik}'log(y_{ik})$

$y_{i0}' = 1 - y_{i1}'$$y_{i0} = 1 - y_{i1}$

$\begin{align*} H_{y'}(y)&=-\sum_{(x_i, y_i')}y_{i1}'log(y_{i1})+y_{i0}'log(y_{i0})\\ &=-\sum_{(x_i, y_i')}y_{i1}'log(y_{i1})+(1-y_{i1}')log(1-y_{i1}) \end{align*}$

che è lo stesso di (b).

Cross-entropia (a) sopra le classi (una somma)

L'entropia incrociata (a) sulle classi è:

$H_{y'}(y)=-\sum_{k=1}^{K}y_{k}'log(y_{k})$

Questa versione non può essere utilizzata per l'attività di classificazione. Consente di riutilizzare i dati dell'esempio precedente:

$(c_i', c_i)=\{(0, 0.1), (0, 0.4), (0, 0.8), (1, 0.8), (1, 0.2)\}$

$y'_0 = 3/5 = 0.6$$y'_1 = 0.4$

$y_0 = 3/5 = 0.6$$y_1 = 0.4$

$-y'_0logy_0 - y'_1logy_1 = - 0.6log(0.6) -0.4log(0.4) = 0.292$

$(0, 0.8)$$(1, 0.2)$$y'_0$$y'_1$

$(c_i', c_i)=\{(0, 0.1), (0, 0.4), (0, \color{blue}{0.2}), (1, 0.8), (1, \color{blue}{0.8})\}$

$y'_0$$y_0=3/5$