Perché esistono due diverse formule / notazioni di perdita logistica?

Ho visto due tipi di formulazioni logistiche di perdita. Possiamo facilmente dimostrare che sono identici, l'unica differenza è la definizione dell'etichetta $y$ .

Formulazione / notazione 1, $y \in \{0, +1\}$ :

L (y, β^{T} x) = - y \log (p) - (1 - y) \log (1 - p)

$L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p)$

dove $p=\frac 1 {1+\exp(-\beta^Tx)}$ , in cui la funzione logistica associa un numero reale $\beta^T x$ a intervalli di 0,1.

Formulazione / notazione 2, $y \in \{-1, +1\}$ :

L (y, β^{T} x) = \log (1 + \exp (- y \cdot β^{T} x))

$L(y,\beta^Tx)=\log(1+\exp{(-y\cdot \beta^Tx}))$

Scegliere una notazione è come scegliere una lingua, ci sono pro e contro da usare l'uno o l'altro. Quali sono i pro e i contro di queste due notazioni?

I miei tentativi di rispondere a questa domanda è che sembra che la comunità delle statistiche apprezzi la prima notazione e che la comunità dell'informatica apprezzi la seconda notazione.

La prima notazione può essere spiegata con il termine "probabilità", poiché la funzione logistica trasforma un numero reale $\beta^Tx$ in un intervallo di 0,1.
E la seconda notazione è più concisa ed è più facile da confrontare con la perdita della cerniera o la perdita 0-1.

Ho ragione? Altre intuizioni?

— Haitao Du
fonte

Sono sicuro che questo deve essere già stato chiesto più volte. Ad esempio stats.stackexchange.com/q/145147/5739

— StasK

Perché dici che la seconda notazione è più facile da confrontare con la perdita della cerniera? Solo perché è definito su

invece di

o qualcos'altro?

{- 1, 1}

$\{-1, 1\}$

{0, 1}

$\{0, 1\}$

— Shadowtalker,

Mi piace la simmetria della prima forma, ma la parte lineare è sepolta piuttosto in profondità, quindi può essere difficile lavorarci.

— Matthew Drury,

@ssdecontrol controlla questa figura, cs.cmu.edu/~yandongl/loss.html dove si trova l'asse x

, e l'asse y è un valore di perdita. Tale definizione è conveniente da confrontare con la perdita 01, la perdita della cerniera, ecc.

- y \cdot β^{T} x

$-y\cdot \beta^Tx$

— Haitao Du,

Risposte:

La versione corta

La versione lunga

La cosa bella della modellazione matematica è che è flessibile. Queste sono funzioni di perdita equivalenti, ma derivano da modelli sottostanti dei dati molto diversi.

Formula 1

La prima notazione deriva da un modello di probabilità di Bernoulli per , che è convenzionalmente definito su . In questo modello, il risultato / etichetta / classe / previsione è rappresentato da una variabile casuale che segue una distribuzione . Pertanto la sua probabilità è: $y$ $\{0, 1\}$ $Y$ $\mathrm{Bernoulli}(p)$

P (Y = y | p) = L (p; y) = p^{y} (1 - p)^{1 - y} = {\begin{cases} 1 - p & y = 0 \\ p & y = 1 \end{cases}

$P(Y = y\ |\ p) = \mathcal L(p; y) = p^y\ (1-p)^{1-y} = \begin{cases}1-p &y=0 \\ p &y=1 \end{cases}$

per . L'uso di 0 e 1 come valori dell'indicatore ci consente di ridurre la funzione a tratti sull'estrema destra a un'espressione concisa. $p\in[0, 1]$

Come hai sottolineato, puoi quindi collegare a una matrice di dati di input lasciando . Da qui, la semplice manipolazione algebrica rivela che il è uguale al primo nella tua domanda (suggerimento: ). Riducendo così al minimo la perdita di log su $Y$ $x$ $\operatorname{logit} p = \beta^T x$ $\log \mathcal L(p;y)$ $L(y, \beta^Tx)$ $(y - 1) = - (1 - y)$ equivale alla stima della massima verosimiglianza di un modello di Bernoulli. $\{0, 1\}$

Questa formulazione è anche un caso speciale del modello lineare generalizzato , che è formulato come per una funzione invertibile, differenziabile una distribuzione nella famiglia esponenziale . $Y \sim D(\theta),\ g(Y) = \beta^T x$ $g$ $D$

Formula 2

In realtà .. Non ho familiarità con la Formula 2. Tuttavia, definire su è standard nella formulazione di una macchina vettoriale di supporto . Lato uno SVM corrisponde alla massimizzazione $y$ $\{-1, 1\}$

max ({0, 1 - y β^{T} x}) + λ ‖ β ‖^{2} .

$\max \left(\{0, 1 - y \beta^T x \}\right) + \lambda \|\beta\|^2.$

Questa è la forma lagrangiana di un problema di ottimizzazione vincolata. È anche un esempio di un problema di ottimizzazione regolarizzato con funzione obiettivo Per alcune funzioni di perdita e un iperparametro scalare che controlla la quantità di regolarizzazione (chiamata anche "contrazione") applicata a . La perdita della cerniera è solo una delle numerose possibilità di drop-in per , che include anche la seconda

ℓ (y, β) + λ ‖ β ‖^{2}

$\ell(y, \beta) + \lambda \|\beta\|^2$

ℓ

$\ell$

λ

$\lambda$

β

$\beta$

ℓ

$\ell$

L (y, β^{T} x)

$L(y, \beta^Tx)$ nella tua domanda.

— shadowtalker
fonte

p^{y} (1 - p)^{1 - y 1 - y}

$p^y(1 - p)^{\pmb{1 - y}}$

Penso che @ssdecontrol abbia avuto un'ottima risposta. Voglio solo aggiungere alcuni commenti per la formula 2 per la mia domanda.

L (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L(y,\hat y)=\log(1+\exp{(-y\cdot \hat y}))$

La ragione per cui alle persone piace questa formulazione è che è molto concisa e rimuove i "dettagli dell'interpretazione della probabilità".

La notazione difficile è il $\hat y$ , Nota, $y$ è una variabile binaria, ma $\hat y$ here is a real number. Comparing to formulation 1, we need two additional steps to make it to discrete label, step 1. sigmod function step 2. apply 0.5 threshold.

But without these details are good in terms of we can easily compare it with other classification loss, such as 01 loss or hinge loss.

L_{01} (y, \hat{y}) = I [y \cdot \hat{y} > 0] L_{hinge} (y, \hat{y}) = (1 - y \cdot \hat{y})_{+} L_{logistic} (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L_{01}(y,\hat y)=I[y \cdot \hat y >0]\\ L_{\text{hinge}}(y,\hat y)=(1-y \cdot \hat y)_+\\ L_{\text{logistic}}(y,\hat y)=\log(1+\exp(-y \cdot \hat y))$

Here we plot three loss functions, x axis is $y \cdot \hat y$ and y axis is the loss value. Note, in all above formulas $\hat y$ is a real number, and this number can come from linear form $\beta^Tx$ or other forms. Such notation hides probability details.

— Haitao Du
fonte

I see what you mean about easy comparison

— shadowtalker