Motivare le unità di uscita sigmoide nelle reti neurali a partire da probabilità log non normalizzate lineari in e

12

Background: sto studiando il capitolo 6 di Deep Learning di Ian Goodfellow e Yoshua Bengio e Aaron Courville. Nella sezione 6.2.2.2 (pagine 182 di 183 che possono essere visualizzate qui è motivato l'uso di sigmoid per l'output . $P(y=1|x)$

Per riassumere parte del materiale lasciano

z = w^{T} h + B

$z = w^Th+b$ un neurone di output prima che venga applicata un'attivazione in cui

h

$h$ è l'output del precedente strato nascosto,

w

$w$ è un vettore di pesi e

b

$b$ è un bias scalare. Il vettore di input è indicato con

x

$x$ (di cui

h

$h$ è una funzione di) e il valore di output è indicato con

y = ϕ (z)

$y=\phi(z)$ dove

ϕ

$\phi$ è la funzione sigmoide. Il libro desidera definire una distribuzione di probabilità su

y

$y$ usando il valore

z

$z$ . Dal secondo paragrafo di pagina 183:

Per il momento omettiamo la dipendenza da $x$ per discutere su come definire una distribuzione di probabilità su $y$ usando il valore $z$ . Il sigmoide può essere motivato costruendo una distribuzione di probabilità non normalizzata $\tilde P(y)$ , che non si somma a 1. Possiamo quindi dividere per una costante appropriata per ottenere una distribuzione di probabilità valida. Se si comincia con il presupposto che le probabilità di log normalizzate sono lineari in $y$ e $z$ , possiamo exponentiate avere le probabilità normalizzate. Quindi normalizziamo per vedere che questo produce una distribuzione di Bernoulli controllata da una trasformazione sigmoidale di z:
$\begin{aligned} \log \tilde{P} (y) & = y z \\ \tilde{P} (y) & = \exp (y z) \\ P (y) & = \frac{\exp (y z)}{Σ_{y^{'} = 0}^{1} \exp (y^{'} z)} \\ P (y) & = φ ((2 y - 1) z) \end{aligned}$ $\begin{align} \log\tilde P(y) &= yz \\ \tilde P(y) &= \exp(yz) \\ P(y) &= \frac{\exp(yz)}{\sum_{y'=0}^1 \exp(y'z) } \\ P(y) &= \phi((2y-1)z) \end{align}$

Domande: sono confuso su due cose, in particolare la prima:

Da dove viene l'assunto iniziale? Perchè è la probabilità di registro non normalizzato lineare $y$ e $z$ ? Qualcuno può darmi qualche idea su come gli autori hanno iniziato con $\log\tilde P(y) = yz$ ?
Come segue l'ultima riga?

neural-networks deep-learning

— HBeel
fonte

8

Esistono due possibili risultati per . È molto importante, perché questa proprietà cambia il significato della moltiplicazione. Esistono due casi possibili: $y \in \{0, 1\}$

\begin{aligned} \log \tilde{P} (y = 1) & = z \\ \log \tilde{P} (y = 0) & = 0 \end{aligned}

$\begin{align} \log\tilde P(y=1) &= z \\ \log\tilde P(y=0) &= 0 \\ \end{align}$

Inoltre, è importante notare che la probabilità logaritmica non normalizzata per è costante. Questa proprietà deriva dal presupposto principale. L'applicazione di qualsiasi funzione deterministica al valore costante produrrà un output costante. Questa proprietà semplifica la formula finale quando eseguiremo la normalizzazione su tutte le possibili probabilità, perché dobbiamo solo conoscere solo probabilità non normalizzate per e per è sempre costante. E poiché l'output dalla rete ha una probabilità logaritmica non normalizzata, avremo bisogno di un solo output, poiché un altro è ritenuto costante. $y=0$ $y=1$ $y=0$

Successivamente, stiamo applicando l'esponenziazione alla probabilità logaritmica non normalizzata al fine di ottenere probabilità non normalizzata.

\begin{aligned} \tilde{P} (y = 1) & = e^{z} \\ \tilde{P} (y = 0) & = e^{0} = 1 \end{aligned}

$\begin{align} \tilde P(y=1) &= e ^ z \\ \tilde P(y=0) &= e ^ 0 = 1 \end{align}$

Quindi normalizziamo semplicemente le probabilità dividendo ogni probabilità non normalizzata per la somma di tutte le possibili probabilità non normalizzate.

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} \\ P (y = 0) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} \\ P(y=0) = \frac{1}{1 + e ^ z} \end{align}$

Siamo interessati solo a , perché questo è ciò che significa probabilità dalla funzione sigmoide. La funzione ottenuta non appare come sigmoide al primo sguardo, ma sono uguali ed è facile da mostrare. $P(y=1)$

\begin{aligned} P (y = 1) = \frac{e^{X}}{1 + e^{X}} = \frac{1}{\frac{e^{X} + 1}{e^{X}}} = \frac{1}{1 + \frac{1}{e^{X}}} = \frac{1}{1 + e^{- X}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ x}{1 + e ^ x} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{1 + e ^ {-x}} \end{align}$

All'inizio l'ultima affermazione può essere fonte di confusione, ma è solo un modo per dimostrare che quella funzione di probabilità finale è un sigmoide. Il valore converte in e in (oppure possiamo dire che sarebbe senza modifiche). $(2y−1)$ $0$ $-1$ $1$ $1$

P (y) = σ ((2 y - 1) z) = {\begin{cases} σ (z) = \frac{1}{1 + e^{- z}} = \frac{e^{z}}{1 + e^{z}} & when y = 1 \\ σ (- z) = \frac{1}{1 + e^{- (- z)}} = \frac{1}{1 + e^{z}} & when y = 0 \end{cases}

$P(y) = \sigma((2y - 1)z) = \begin{cases} \sigma(z) = \frac{1}{1 + e ^ {-z}} = \frac{e ^ z}{1 + e ^ z} & \text{when } y = 1 \\ \sigma(-z) = \frac{1}{1 + e ^ {-(-z)}} = \frac{1}{1 + e ^ z} & \text{when } y = 0 \\ \end{cases}$

Come possiamo vedere, è solo il modo di mostrare la relazione tra e $\sigma$ $P(y)$

— itdxer
fonte

"Inoltre, è importante notare che la probabilità logaritmica non normalizzata per è costante. Questa proprietà deriva dal presupposto principale." Il presupposto è che abbiamo già deciso che ?

y = 0

$y=0$

y = 1

$y=1$

— HBeel

Penso che la mia confusione derivasse dal fatto che il sigmoide dà la probabilità del modello di indipendentemente dall'etichetta effettiva. Grazie!

y = 1

$y=1$

— HBeel,

Non voglio dire di essere di spessore qui ma come è lineare e . Mi aspetterei qualcosa della forma . Mi rendo conto che sul prodotto produrrebbe una somma che mi avvicinerebbe alla linearità ma che non sembra essere diretta da quanto affermato dall'autore.

y \times z

$y\times z$

y

$y$

z

$z$

a y + b z + c

$ay + bz + c$

\log

$\log$

y z

$yz$

— Zebullon,

Vedo, questa è in realtà una domanda interessante. Non ho prestato attenzione a questa affermazione quando ho letto la domanda per la prima volta. Ora mi sembra strano anche per me. Un problema è che y variabile binaria e non sono sicuro di come controllare le proprietà della funzione lineare in queste circostanze. Immagino abbia senso se fai domande separate, forse qualcuno può spiegarti perché è stato scritto in questo modo.

— itdxer,

2

Trovo anche questo frammento del libro difficile da seguire, e la risposta di cui sopra di itdxer merita un po 'di tempo per capire anche per qualcuno che non è perfettamente fluente con le probabilità e il pensiero matematico. L'ho fatto comunque leggendo la risposta al contrario, quindi inizia con il sigmoide di z

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1 + e^{- z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} = \frac{1}{1 + e ^ {-z}} \end{align}$

e prova a seguire di nuovo.

\begin{aligned} \log \tilde{P} (y) & = y z \end{aligned}

$\begin{align} \log\tilde P(y) &= yz \end{align}$

Quindi ha senso il motivo per cui hanno iniziato la spiegazione con yz - è di progettazione, lo stesso del finale

\begin{aligned} σ ((2 y - 1) z) \end{aligned}

$\begin{align} \sigma((2y-1)z) \end{align}$

per costruzione permette di ottenere -1 per y = 0 e 1 per y = 1, che sono gli unici valori possibili di y sotto i Bernoulli.

— Jakub Jurek
fonte

0

Ecco una frase più formale che piacerà a coloro che hanno un background teorico-misurativo.

Sia un Bernoulli rv e che denoti la misura , cioè per , e che denoti la sua controparte non normalizzata. $Y$ $P_Y$ $y\in \{0,1\}$ $P_Y(y)=P(Y=y)$ $\tilde P_Y$

Abbiamo le seguenti implicazioni:

\begin{aligned} \log {\tilde{P}}_{Y} (y) = y z & ⟹ {\tilde{P}}_{Y} (y) = \exp (y z) \\ ⟹ P_{Y} (y) = \frac{e^{y z}}{e^{0 \cdot z} + e^{1 \cdot z}} = \frac{e^{y z}}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y \frac{e^{z}}{1 + e^{z}} + (1 - y) \frac{1}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y σ (z) + (1 - y) σ (- z) \\ ⟹ P_{Y} (y) = σ ((2 y - 1) z) \end{aligned}

$\begin{aligned} \log \tilde P_Y(y)=yz &\implies \tilde P_Y(y) = \exp(yz)\\ &\implies P_Y(y) = \frac{e^{yz}}{e^{0\cdot z}+e^{1\cdot z}}=\frac{e^{yz}}{1+e^{ z}}\\ &\implies P_Y(y) =y\frac{e^{z}}{1+e^{ z}} + (1-y)\frac{1}{1+e^{ z}}\\ &\implies P_Y(y) =y\sigma(z) + (1-y)\sigma(-z)\\ &\implies P_Y(y) = \sigma((2y-1)z) \end{aligned}$

L'ultima uguaglianza è un modo intelligente di mappare da a $\{0,1\}$ $\{-1,1\}$

— Gabriel Romon
fonte