Quale funzione di perdita è corretta per la regressione logistica?

31

Ho letto di due versioni della funzione di perdita per la regressione logistica, quale di esse è corretta e perché?

Da Machine Learning , Zhou ZH (in cinese), con $\beta = (w, b)\text{ and }\beta^Tx=w^Tx +b$ :

$\begin{matrix} (1) & l (β) = Σ_{io = 1}^{m} (- y_{io} β^{T} X_{io} + \ln (1 + e^{β^{T} X_{io}})) \end{matrix}$ $l(\beta) = \sum\limits_{i=1}^{m}\Big(-y_i\beta^Tx_i+\ln(1+e^{\beta^Tx_i})\Big) \tag 1$
Dal mio corso universitario, con : $z_i = y_if(x_i)=y_i(w^Tx_i + b)$

$\begin{matrix} (2) & L (z_{io}) = \log (1 + e^{- z_{io}}) \end{matrix}$ $L(z_i)=\log(1+e^{-z_i}) \tag 2$

So che il primo è un accumulo di tutti i campioni e il secondo è per un singolo campione, ma sono più curioso della differenza nella forma di due funzioni di perdita. In qualche modo ho la sensazione che siano equivalenti.

logistic loss-functions

— XTT
fonte

31

La relazione è la seguente: . $l(\beta) = \sum_i L(z_i)$

Definire una funzione logistica come . Possiedono la proprietà che . O in altre parole: $f(z) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1+e^{-z}}$ $f(-z) = 1-f(z)$

\frac{1}{1 + e^{z}} = \frac{e^{- z}}{1 + e^{- z}} .

$\frac{1}{1+e^{z}} = \frac{e^{-z}}{1+e^{-z}}.$

Se prendi il reciproco di entrambe le parti, prendi il registro che ottieni:

\ln (1 + e^{z}) = \ln (1 + e^{- z}) + z .

$\ln(1+e^{z}) = \ln(1+e^{-z}) + z.$

Sottrai da entrambi i lati e dovresti vedere questo: $z$

- y_{io} β^{T} X_{io} + l n (1 + e^{y_{io} β^{T} X_{io}}) = L (z_{io}) .

$-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i}) = L(z_i).$

Modificare:

Al momento sto rileggendo questa risposta e sono confuso su come ho ottenuto per essere uguale a . Forse c'è un refuso nella domanda originale. $-y_i\beta^Tx_i+ln(1+e^{\beta^Tx_i})$ $-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i})$

Modifica 2:

Nel caso in cui non ci fosse un refuso nella domanda originale, @ManelMorales sembra essere corretto per attirare l'attenzione sul fatto che, quando , la funzione di massa di probabilità può essere scritta come , a causa della proprietà che . Lo sto riscrivendo diversamente qui, perché introduce un nuovo equivoco sulla notazione . Il resto segue prendendo la probabilità logaritmica negativa per ogni codifica . Vedi la sua risposta di seguito per maggiori dettagli. $y \in \{-1,1\}$ $P(Y_i=y_i) = f(y_i\beta^Tx_i)$ $f(-z) = 1 - f(z)$ $z_i$ $y$

— Taylor
fonte

42

OP ritiene erroneamente che la relazione tra queste due funzioni sia dovuta al numero di campioni (cioè singolo vs tutti). Tuttavia, la differenza reale è semplicemente come selezioniamo le nostre etichette di formazione.

Nel caso della classificazione binaria possiamo assegnare le etichette o . $y=\pm1$ $y=0,1$

Come è già stato affermato, la funzione logistica è una buona scelta poiché ha la forma di una probabilità, cioè e come . Se scegliamo le etichette che possiamo assegnare $\sigma(z)$ $\sigma(-z)=1-\sigma(z)$ $\sigma(z)\in (0,1)$ $z\rightarrow \pm \infty$ $y=0,1$

\begin{aligned} P (y = 1 | z) & = σ (z) = \frac{1}{1 + e^{- z}} \\ P (y = 0 | z) & = 1 - σ (z) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{equation} \begin{aligned} \mathbb{P}(y=1|z) & =\sigma(z)=\frac{1}{1+e^{-z}}\\ \mathbb{P}(y=0|z) & =1-\sigma(z)=\frac{1}{1+e^{z}}\\ \end{aligned} \end{equation}$

che può essere scritto in modo più compatto come . $\mathbb{P}(y|z) =\sigma(z)^y(1-\sigma(z))^{1-y}$

È più semplice massimizzare la probabilità di log. Massimizzare la verosimiglianza equivale a minimizzare la verosimiglianza negativa. Per campioni , dopo aver preso il logaritmo naturale e alcune semplificazioni, scopriremo: $m$ $\{x_i,y_i\}$

\begin{aligned} l (z) = - \log (\prod_{io}^{m} P (y_{io} | z_{io})) = - Σ_{io}^{m} \log (P (y_{io} | z_{io})) = Σ_{io}^{m} - y_{io} z_{io} + \log (1 + e^{z_{io}}) \end{aligned}

$\begin{equation} \begin{aligned} l(z)=-\log\big(\prod_i^m\mathbb{P}(y_i|z_i)\big)=-\sum_i^m\log\big(\mathbb{P}(y_i|z_i)\big)=\sum_i^m-y_iz_i+\log(1+e^{z_i}) \end{aligned} \end{equation}$

Derivazione completa e informazioni aggiuntive sono disponibili su questo notebook jupyter . D'altra parte, potremmo invece aver usato le etichette . È abbastanza ovvio quindi che possiamo assegnare $y=\pm 1$

P (y | z) = σ (y z) .

$\begin{equation} \mathbb{P}(y|z)=\sigma(yz). \end{equation}$

È anche ovvio che . Seguendo gli stessi passaggi di prima in questo caso minimizziamo la funzione di perdita $\mathbb{P}(y=0|z)=\mathbb{P}(y=-1|z)=\sigma(-z)$

\begin{aligned} L (z) = - \log (Π_{j}^{m} P (y_{j} | z_{j})) = - Σ_{j}^{m} \log (P (y_{j} | z_{j})) = Σ_{j}^{m} \log (1 + e^{- y z_{j}}) \end{aligned}

$\begin{equation} \begin{aligned} L(z)=-\log\big(\prod_j^m\mathbb{P}(y_j|z_j)\big)=-\sum_j^m\log\big(\mathbb{P}(y_j|z_j)\big)=\sum_j^m\log(1+e^{-yz_j}) \end{aligned} \end{equation}$

Dove segue l'ultimo passo dopo prendiamo il reciproco che è indotto dal segno negativo. Sebbene non dovremmo equiparare queste due forme, dato che in ciascuna forma assume valori diversi, tuttavia queste due sono equivalenti: $y$

\begin{aligned} - y_{io} z_{io} + \log (1 + e^{z_{io}}) \equiv \log (1 + e^{- y z_{j}}) \end{aligned}

$\begin{equation} \begin{aligned} -y_iz_i+\log(1+e^{z_i})\equiv \log(1+e^{-yz_j}) \end{aligned} \end{equation}$

Il caso è banale da mostrare. Se , quindi sul lato sinistro e sul lato destro. $y_i=1$ $y_i \neq 1$ $y_i=0$ $y_i=-1$

Mentre ci possono essere ragioni fondamentali per cui abbiamo due forme diverse (vedi Perché ci sono due diverse formule / notazioni di perdita logistica? ), Una ragione per scegliere la prima è per considerazioni pratiche. Nel primo possiamo usare la proprietà per calcolare banalmente e , entrambi necessari per l'analisi della convergenza (ovvero per determinare la convessità della funzione di perdita calcolando l'Assia ). $\partial \sigma(z) / \partial z=\sigma(z)(1-\sigma(z))$ $\nabla l(z)$ $\nabla^2l(z)$

— Manuel Morales
fonte

La funzione di perdita logistica è convessa?

— user85361

2

l (z)

$l(z)$

α

$\alpha$

l

$l$

λ

$\lambda$

l^{'} (z) = l (z) + λ ‖ z ‖^{2}

$l'(z)=l(z)+\lambda\|z\|^2$

l^{'} (z)

$l'(z)$

λ

$\lambda$

l^{'}

$l'$ . Purtroppo ora stiamo riducendo al minimo una funzione diversa! Fortunatamente, possiamo dimostrare che il valore dell'ottimale della funzione regolarizzata è vicino al valore dell'ottimale dell'originale.

— Manuel Morales,

Il taccuino che hai citato è andato, ho avuto un'altra prova: statlect.com/fundamentals-of-statistics/…

— Domi.Zhang

2

Ho trovato questa la risposta più utile.

— Mohit6up

@ManuelMorales Hai un collegamento al valore ottimale della funzione regolarizzata vicino all'originale?

— Segna l'

19

Ho imparato la funzione di perdita per la regressione logistica come segue.

La regressione logistica esegue la classificazione binaria, quindi gli output dell'etichetta sono binari, 0 o 1. Sia la probabilità che l'output binario sia 1 dato il vettore della caratteristica di input . I coefficienti sono i pesi che l'algoritmo sta cercando di imparare. $P(y=1|x)$ $y$ $x$ $w$

P (y = 1 | X) = \frac{1}{1 + e^{- w^{T} X}}

$P(y=1|x) = \frac{1}{1 + e^{-w^{T}x}}$

Poiché la regressione logistica è binaria, la probabilità è semplicemente 1 meno il termine sopra. $P(y=0|x)$

P (y = 0 | X) = 1 - \frac{1}{1 + e^{- w^{T} X}}

$P(y=0|x) = 1- \frac{1}{1 + e^{-w^{T}x}}$

La funzione di perdita è la somma di (A) l'uscita moltiplicata per e (B) l'uscita moltiplicata per per un esempio di allenamento, sommato oltre esempi di formazione. $J(w)$ $y=1$ $P(y=1)$ $y=0$ $P(y=0)$ $m$

J (w) = Σ_{io = 1}^{m} y^{(io)} \log P (y = 1) + (1 - y^{(io)}) \log P (y = 0)

$J(w) = \sum_{i=1}^{m} y^{(i)} \log P(y=1) + (1 - y^{(i)}) \log P(y=0)$

dove indica l' etichetta nei dati di allenamento. Se un'istanza di formazione ha un'etichetta di , allora , lasciando l'addendo sinistra in posizione ma rendendo l'addendo destro con diventare . D'altra parte, se un'istanza di training ha , il summand destro con il termine rimane al suo posto, ma il summand sinistro diventa . La probabilità del registro viene utilizzata per facilitare il calcolo. $y^{(i)}$ $i^{th}$ $1$ $y^{(i)}=1$ $1-y^{(i)}$ $0$ $y=0$ $1-y^{(i)}$ $0$

Se poi sostituiamo e con le espressioni precedenti, otteniamo: $P(y=1)$ $P(y=0)$

J (w) = Σ_{io = 1}^{m} y^{(io)} \log (\frac{1}{1 + e^{- w^{T} X}}) + (1 - y^{(io)}) \log (1 - \frac{1}{1 + e^{- w^{T} X}})

$J(w) = \sum_{i=1}^{m} y^{(i)} \log \left(\frac{1}{1 + e^{-w^{T}x}}\right) + (1 - y^{(i)}) \log \left(1- \frac{1}{1 + e^{-w^{T}x}}\right)$

Puoi leggere di più su questo modulo in queste note di lezione di Stanford .

— stackoverflowuser2010
fonte

Questa risposta fornisce anche alcune prospettive rilevanti qui.

— GeoMatt22,

6

L'espressione che hai non è una perdita (da minimizzare), ma piuttosto una verosimiglianza (da massimizzare).

— xenocyon,

2

@xenocyon true: questa stessa formulazione è in genere scritta con un segno negativo applicato all'intera somma.

— Alex Klibisz,

1

Invece di Mean Squared Error, utilizziamo una funzione di costo chiamata Cross-Entropy, nota anche come perdita di log. La perdita tra entropia può essere suddivisa in due funzioni di costo separate: una per y = 1 e una per y = 0.

\begin{aligned} j (θ) & = \frac{1}{m} Σ_{io = 1}^{m} C o S t (h_{θ} (X^{(io)}), y^{(io)}) \\ C o S t (h_{θ} (X), y) & = - \log (h_{θ} (X)) & io f y & = 1 \\ C o S t (h_{θ} (X), y) & = - \log (1 - h_{θ} (X)) & io f y & = 0 \end{aligned}

$\begin{align}\newcommand{\Cost}{{\rm Cost}}\newcommand{\if}{{\rm if}} j(\theta) &= \frac 1 m \sum_{i=1}^m \Cost(h_\theta(x^{(i)}), y^{(i)}) & & \\ \Cost(h_\theta(x), y) &= -\log(h_\theta(x)) & \if\ y &= 1 \\ \Cost(h_\theta(x), y) &= -\log(1-h_\theta(x)) & \if\ y &= 0 \end{align}$

Quando li mettiamo insieme abbiamo:

j (θ) = \frac{1}{m} Σ_{io = 1}^{m} [y^{(io)} \log (h_{θ} (X^{(io)})) + (1 - y^{(io)}) \log (1 - h_{θ} (X)^{(io)})]

$j(\theta) = \frac 1 m \sum_{i=1}^m \big[y^{(i)}\log(h_\theta(x^{(i)})) + (1-y^{(i)})\log(1-h_\theta(x)^{(i)}) \big]$

Moltiplicare per e nell'equazione sopra è un trucco subdolo che usiamo la stessa equazione per risolvere entrambi i casi e . Se , il primo lato si annulla. Se , la seconda parte si annulla. In entrambi i casi eseguiamo solo l'operazione necessaria. $y$ $(1−y)$ $y=1$ $y=0$ $y=0$ $y=1$

Se non vuoi usare un forciclo, puoi provare una forma vettoriale dell'equazione sopra

\begin{aligned} h & = g (X θ) \\ J (θ) & = \frac{1}{m} \cdot (- y^{T} \log (h) - (1 - y)^{T} \log (1 - h)) \end{aligned}

$\begin{align} h &= g(X\theta) \\ J(\theta) &= \frac 1 m \cdot \big(-y^T\log(h)-(1-y)^T\log(1-h)\big) \end{align}$

L'intera spiegazione può essere visualizzata sul Cheatsheet di Machine Learning .

— Emanuel Fontelles
fonte