Perché la funzione sigmoide standard di fatto, $\frac{1}{1+e^{-x}}$ , è così popolare nelle reti neuronali (non profonde) e nella regressione logistica?

Perché non usiamo molte delle altre funzioni derivabili, con tempi di calcolo più rapidi o decadimento più lento (quindi il gradiente di scomparsa si verifica meno). Alcuni esempi sono su Wikipedia sulle funzioni sigmoidi . Uno dei miei preferiti con decadimento lento e calcolo veloce è $\frac{x}{1+|x|}$ .

MODIFICARE

La domanda è diversa dall'elenco completo delle funzioni di attivazione nelle reti neurali con pro / contro poiché sono interessato solo al "perché" e solo per il sigmoide.

Citando me stesso da questa risposta a una domanda diversa:

Nella sezione 4.2 di Pattern Recognition and Machine Learning (Springer 2006), Bishop mostra che il logit nasce naturalmente come la forma della distribuzione della probabilità posteriore in un trattamento bayesiano della classificazione a due classi. Quindi prosegue dimostrando che lo stesso vale per le funzionalità distribuite in modo discreto, nonché per un sottoinsieme della famiglia di distribuzioni esponenziali. Per la classificazione multi-classe, il logit si generalizza alla funzione esponenziale o softmax normalizzata.

Questo spiega perché questo sigmoide viene utilizzato nella regressione logistica.

Per quanto riguarda le reti neurali, questo post sul blog spiega come diverse non linearità tra cui logit / softmax e il probit usato nelle reti neurali possano essere interpretate in modo statistico e quindi motivate. L'idea alla base è che una rete neurale a più livelli può essere considerata come una gerarchia di modelli lineari generalizzati; in base a ciò, le funzioni di attivazione sono funzioni di collegamento, che a loro volta corrispondono a diverse ipotesi distributive.

Uno dei motivi per cui questa funzione potrebbe sembrare più "naturale" di altri è che capita di essere l'inverso del parametro canonico della distribuzione di Bernoulli: (La funzione di all'interno dell'esponente si chiama parametro canonico.)

Forse una giustificazione più convincente viene dalla teoria dell'informazione, in cui la funzione sigmoide può essere derivata come modello di entropia massima . In parole povere, la funzione sigmoide assume una struttura minima e riflette il nostro stato generale di ignoranza sul modello sottostante.

Mi sono posto questa domanda per mesi. Le risposte su CrossValidated e Quora elencano tutte belle proprietà della funzione sigmoidistica logistica, ma sembra che abbiamo abilmente indovinato questa funzione. Quello che mi mancava era la giustificazione per averlo scelto. Ne ho finalmente trovato uno nella sezione 6.2.2.2 del libro "Deep Learning" di Bengio (2016) . A parole mie:

In breve, vogliamo che il logaritmo dell'output del modello sia adatto per l'ottimizzazione basata su gradiente della probabilità logaritmica dei dati di addestramento.

Motivazione

• Vogliamo un modello lineare, ma non possiamo usare direttamente come .$z = w^T x + b$$z \in (-\infty, +\infty)$
• Per la classificazione, ha senso assumere la distribuzione di Bernoulli e modellare il suo parametro in .$\theta$$P(Y=1) = \theta$
• Quindi, abbiamo bisogno di mappare da a per fare la classificazione.$z$$(-\infty, +\infty)$$[0, 1]$

Perché la funzione sigmoidistica logistica?

Tagliare con produce un gradiente zero per al di fuori di . Abbiamo bisogno di un forte gradiente ogni volta che la previsione del modello è sbagliata, perché risolviamo la regressione logistica con discesa del gradiente. Per la regressione logistica, non esiste una soluzione a forma chiusa.$z$$P(Y=1|z) = max\{0, min\{1, z\}\}$$z$$[0, 1]$

La funzione logistica ha la bella proprietà di asintendere un gradiente costante quando la previsione del modello è errata, dato che utilizziamo la stima della massima verosimiglianza per adattarsi al modello. Questo è mostrato di seguito:

Per i benefici numerici, è possibile eseguire la stima della massima verosimiglianza minimizzando la probabilità logaritmica negativa dei dati di allenamento. Quindi, la nostra funzione di costo è:

Poiché , possiamo concentrarci sul caso . Quindi, la domanda è come modellare dato che abbiamo .$P(Y=0 | z) = 1-P(Y=1|z)$$Y=1$$P(Y=1 | z)$$z = w^T x + b$

I requisiti ovvi per la funzione mapping$f$$z$$P(Y=1 | z)$

• $\forall z \in \mathbb{R}: f(z) \in [0, 1]$
• $f(0) = 0.5$
• $f$$(0, 0.5)$$f(-x) = 1-f(x)$
• $f$

$f(z) = \frac{1}{1 + e^{-z}}$$f(z) = 0.5 + 0.5 \frac{z}{1+|z|}$$f(z) = \frac{1}{1 + e^{-z}}$

$Y=1$

$P(Y=1|z) = \frac{1}{1 + e^{-z}}$$Y=1$$m=1$

$-z$

• Quando $z$ è grande, la previsione del modello era corretta, poiché $Y=1$ . Nella funzione di costo, il $\log(1 + e^z)$$z$$z$$-z$
• $z$$|z|$$Y=1$$\log(1 + e^z)$$0$$z$$-z$$z$$-1$$z$, non vi è saturazione in corso, che causerebbe gradienti di fuga.

$Y=0$

$Y=1$$Y=0$

$J(z)$$Y=1$

$Y=0$

alternative

$\frac{z}{1+|z|}$$[0,1]$$P(Y=1|z) = 0.5 + 0.5 \frac{z}{1+|z|}$

$Y=1$

$J(z) = - \log (0.5 + 0.5 \frac{z}{1+|z|})$

che assomiglia a questo:

$z \rightarrow - \infty$

Poiché la domanda originale menzionava il problema del gradiente in decadimento, vorrei solo aggiungere che, per i livelli intermedi (dove non è necessario interpretare le attivazioni come probabilità di classe o output di regressione), altre non linearità sono spesso preferite rispetto alle funzioni sigmoidali. Le più importanti sono le funzioni di raddrizzatore (come nelle ReLU ), che sono lineari sul dominio positivo e zero sul negativo. Uno dei loro vantaggi è che sono meno soggetti al problema del gradiente in decomposizione, perché la derivata è costante sul dominio positivo. Le ReLU sono diventate popolari al punto che i sigmoidi probabilmente non possono più essere chiamati standard di fatto.

Glorot et al. (2011) . Reti neurali raddrizzatori sparsi profondi