Nel classificatore softmax, perché usare la funzione exp per eseguire la normalizzazione?

Perché usare softmax in contrapposizione alla normalizzazione standard? Nell'area dei commenti della risposta principale a questa domanda, @Kilian Batzner ha sollevato 2 domande che mi confondono molto. Sembra che nessuno dia una spiegazione tranne i vantaggi numerici.

Ottengo i motivi per usare la perdita di entropia incrociata, ma come si collega al softmax? Hai detto "la funzione di softmax può essere vista come un tentativo di minimizzare l'entropia incrociata tra predizioni e verità". Supponiamo che userei la normalizzazione standard / lineare, ma continuerò a usare la perdita di entropia incrociata. Quindi proverei anche a minimizzare l'entropia incrociata. Quindi, in che modo il softmax è collegato all'entropia crociata tranne che per i benefici numerici?

Per quanto riguarda la visione probabilistica: qual è la motivazione per guardare le probabilità del registro? Il ragionamento sembra essere un po 'come "Usiamo e ^ x nel softmax, perché interpretiamo x come log-probabilties". Con lo stesso ragionamento che potremmo dire, usiamo e ^ e ^ e ^ x nel softmax, perché interpretiamo x come probabilità log-log-log-log (esagerando qui, ovviamente). Ottengo i vantaggi numerici di softmax, ma qual è la motivazione teorica per usarlo?

machine-learning deep-learning

— Hans
fonte

È differenziabile, porta a risultati non negativi (come sarebbe necessario per una probabilità in modo da poter calcolare l'entropia crociata) e si comporta come la funzione max, che è appropriata in un'impostazione di classificazione. Benvenuti nel sito!

— Emre,

@Emre Thanks! Ma cosa significa "si comporta come la funzione massima"? Inoltre, se ho un'altra funzione che è anche differenziabile, in aumento monotono e porta a risultati non negativi, posso usarla per sostituire la funzione exp nella formula?

— Hans,

Quando si normalizza usando , l'argomento più grande viene mappato su 1 mentre il resto viene mappato su zero, a causa della crescita della funzione esponenziale.

max

$\max$

— Emre,

Risposte:

È più di un semplice numero. Un rapido promemoria della softmax:

P (y = j | x) = \frac{e^{x_{j}}}{\sum_{k = 1}^{K} e^{x_{k}}}

$P(y=j | x) = \frac{e^{x_j}}{\sum_{k=1}^K e^{x_k}}$

Dove è un vettore d'ingresso con lunghezza pari al numero di classi . La funzione softmax ha 3 proprietà molto belle: 1. normalizza i tuoi dati (genera una corretta distribuzione di probabilità), 2. è differenziabile e 3. utilizza l'esp che hai citato. Alcuni punti importanti: $x$ $K$

La funzione di perdita non è direttamente correlata al softmax. È possibile utilizzare la normalizzazione standard e continuare a utilizzare l'entropia incrociata.
Una funzione "hardmax" (cioè argmax) non è differenziabile. Il softmax dà almeno una minima quantità di probabilità a tutti gli elementi nel vettore di output, e quindi è ben differenziabile, da cui il termine "soft" in softmax.
Ora arrivo alla tua domanda. La in softmax è la funzione esponenziale naturale. Prima di normalizzare, trasformiamo come nel grafico di : $e$ $x$ $e^x$

Se è 0, allora , se è 1, quindi e se è 2, ora ! Un grande passo! Questa è quella che viene chiamata una trasformazione non lineare dei nostri punteggi dei log non normalizzati. La proprietà interessante della funzione esponenziale combinata con la normalizzazione nel softmax è che i punteggi alti in diventano molto più probabili dei punteggi bassi. $x$ $y=1$ $x$ $y=2.7$ $x$ $y=7$ $x$

Un esempio . Di ' e il tuo punteggio di registro è vettore . La semplice funzione argmax genera: $K=4$ $x$ $[2, 4, 2, 1]$

[0, 1, 0, 0]

$[0, 1, 0, 0]$

L'argmax è l'obiettivo, ma non è differenziabile e non possiamo allenare il nostro modello con esso :( Una semplice normalizzazione, che è differenziabile, produce le seguenti probabilità:

[0.2222, 0.4444, 0.2222, 0.1111]

$[0.2222, 0.4444, 0.2222, 0.1111]$

È davvero lontano dall'argmax! :( Considerando che le uscite softmax:

[0.1025, 0.7573, 0.1025, 0.0377]

$[0.1025, 0.7573, 0.1025, 0.0377]$

È molto più vicino all'argmax! Poiché utilizziamo l'esponenziale naturale, aumentiamo enormemente la probabilità del punteggio più grande e diminuiamo la probabilità dei punteggi più bassi rispetto alla normalizzazione standard. Da qui il "massimo" in softmax.

— vega
fonte

Informazioni fantastiche. Tuttavia, invece di usare e, che ne dici di usare una costante dire 3 o 4? Il risultato sarà lo stesso?

— Cheok Yan Cheng il

@CheokYanCheng, sì. Ma eha un derivato più bello;)

— vega

Ho visto che il risultato di softmax è in genere usato come probabilità di appartenenza a ciascuna classe. Se la scelta di 'e' invece di un'altra costante è arbitraria, non ha senso vederla in termini di probabilità, giusto?

— javierdvalle,

@vega Siamo spiacenti, ma continuo a non vedere come risponde alla domanda: perché non utilizzare e ^ e ^ e ^ e ^ e ^ x per gli stessi motivi? Per favore, spiega

— Gulzar,

@jvalle non è eciò che lo rende interpretabile come una probabilità, è il fatto che ogni elemento dell'output di softmax è limitato in [0,1] e l'intero somma a 1.

— vega

Oltre alla spiegazione di Vega,

definiamo il softmax generico: dove è una costante> = 1

P (y = j | x) = \frac{ψ^{x_{j}}}{\sum_{k = 1}^{K} ψ^{x_{k}}}

$P(y=j | x) = \frac{\psi^{x_j}}{\sum_{k=1}^K \psi^{x_k}}$

ψ

$\psi$

se , allora sei abbastanza lontano da argmax come menzionato da @vega. $\psi=1$

Supponiamo ora , ora sei abbastanza vicino all'argmax ma hai anche numeri molto piccoli per valori negativi e numeri grandi per positivi. Questi numeri overflow il limite aritmetica punto galleggiante facilmente (ad esempio limite massimo di float64 NumPy è ). Inoltre, anche se la selezione è che è molto più piccola di , i framework dovrebbero implementare una versione più stabile di softmax (moltiplicando sia numeratore che denominatore con costante ) poiché i risultati diventano troppo piccoli per poter esprimere con tale precisione. $\psi=100$ $10^{308}$ $\psi=e$ $100$ $C$

Quindi, vuoi scegliere una costante abbastanza grande da approssimare bene argmax, e anche abbastanza piccola da esprimere questi numeri grandi e piccoli nei calcoli.

E, naturalmente, ha anche un bel derivato. $e$

— komunistbakkal
fonte

Questa domanda è molto interessante. Non conosco il motivo esatto, ma penso che il seguente motivo possa essere usato per spiegare l'uso della funzione esponenziale. Questo post è ispirato alla meccanica statistica e al principio della massima entropia.

Spiegherò questo usando un esempio con $N$ immagini, che sono costituiti da $n_1$ immagini dalla classe $\mathcal{C}_1$ , $n_2$ immagini dalla classe $\mathcal{C}_2$ , ..., e $n_K$ immagini dalla classe $\mathcal{C}_K$ . Quindi supponiamo che la nostra rete neurale sia stata in grado di applicare una trasformazione non lineare sulle nostre immagini, in modo tale da poter assegnare un "livello di energia" $E_k$ a tutte le classi. Partiamo dal presupposto che questa energia è su una scala non lineare che ci consente di separare linearmente le immagini.

L'energia media $\bar{E}$ è correlata alle altre energie $E_k$ dalla seguente relazione

N \bar{E} = \sum_{k = 1}^{K} n_{k} E_{k} . (*)

$\begin{equation} N\bar{E} = \sum_{k=1}^{K} n_k E_k.\qquad (*) \label{eq:mean_energy} \end{equation}$

Allo stesso tempo, vediamo che la quantità totale di immagini può essere calcolata come la seguente somma

N = \sum_{k = 1}^{K} n_{k} . (* *)

$\begin{equation} N = \sum_{k=1}^{K}n_k.\qquad (**) \label{eq:conservation_of_particles} \end{equation}$

$n_1$

$N$ $n_1$ $n_2$ $n_K$

(\begin{matrix} N! \\ n_{1}!, n_{2}!, \dots, n_{K}! \end{matrix}) = \frac{N!}{\prod_{k = 1}^{K} n_{k}!} .

$\begin{equation} \begin{pmatrix} N!\\ n_1!,n_2!,\ldots,n_K!\\ \end{pmatrix}=\dfrac{N!}{\prod_{k=1}^K n_k!}. \end{equation}$

$N\to \infty$ $(*)$ $(**)$ $\beta$ $\alpha$ $\mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right)$

L (n_{1}, n_{2}, \dots, n_{k}; α, β) = \frac{N!}{\prod_{k = 1}^{K} n_{k}!} + β [\sum_{k = 1}^{K} n_{k} E_{k} - N \bar{E}] + α [N - \sum_{k = 1}^{K} n_{k}]

$\begin{equation} \mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right) = \dfrac{N!}{\prod_{k=1}^{K}n_k!}+\beta\left[\sum_{k=1}^Kn_k E_k - N\bar{E}\right]+\alpha\left[N-\sum_{k=1}^{K} n_k\right] \end{equation}$

$N\to \infty$ $n_k \to \infty$

\ln n! = n \ln n - n + O (\ln n) .

$\begin{equation} \ln n! = n\ln n - n + \mathcal{O}(\ln n). \end{equation}$

$\ln n!$ $n\to \infty$

$n_\tilde{k}$

\frac{\partial L}{\partial n_{\tilde{k}}} = - \ln n_{\tilde{k}} - 1 - α + β E_{\tilde{k}} .

$\dfrac{\partial \mathcal{L}}{\partial n_\tilde{k}}=-\ln n_\tilde{k}-1-\alpha+\beta E_\tilde{k}.$

Se impostiamo questa derivata parziale su zero, possiamo trovare

n_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\exp (1 + α)} . (* * *)

$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\exp(1+\alpha)}. \qquad (***)$

$(**)$

\exp (1 + α) = \frac{1}{N} \sum_{k = 1}^{K} \exp (β E_{k}) .

$\exp(1+\alpha)=\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k).$

$(***)$

n_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\frac{1}{N} \sum_{k = 1}^{K} \exp (β E_{k})} .

$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k)}.$

$n_\tilde{k}/N$ $\mathcal{C}_\tilde{k}$ $p_\tilde{k}$

p_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\sum_{k = 1}^{K} \exp (β E_{k})} .

$p_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\sum_{k=1}^K\exp(\beta E_k)}.$

$\beta E_\tilde{k}=\boldsymbol{w}^T_k\boldsymbol{x}$ $k^{\text{th}}$

— MachineLearner
fonte