Perché la regressione logistica è un modello lineare?

24

Voglio sapere perché la regressione logistica è chiamata modello lineare. Utilizza una funzione sigmoide, che non è lineare. Allora perché la regressione logistica è un modello lineare?

regression logistic terminology

— user34790
fonte

6

Il logit di

(il log delle probabilità) è lineare nei parametri, ma le persone non fanno riferimento alla regressione logistica per quanto ne so. Puoi citare chi ha detto questo?

π

$\pi$

— gung - Ripristina Monica

@ gung-ReinstateMonica Ad esempio, nel libro Deep Learning a pagina 169 ( deeplearningbook.org/contents/mlp.html ). Nel libro si nota che "I modelli lineari, come la regressione logistica e la regressione lineare, sono interessanti ....." Penso che intendessero dire Modello lineare generalizzato per la regressione logistica.

— GIOVANE

33

Il modello di regressione logistica ha la forma Si chiamamodello linearegeneralizzatonon perché la probabilità stimata dell'evento di risposta sia lineare, ma perché il logit della risposta di probabilità stimata è una funzione lineare deiparametri~~predittori~~.

l o g io t (p_{io}) = l n (\frac{p_{io}}{1 - p_{io}}) = β_{0} + β_{1} X_{1, io} + β_{2} X_{2, io} + \dots + β_{p} X_{p, io} .

$\mathrm{logit}(p_i) = \mathrm{ln}\left(\frac{p_i}{1-p_i}\right) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i}.$

Più in generale, il modello lineare generalizzato ha la forma dove è il valore atteso di la risposta data alle covariate.

g (μ_{io}) = β_{0} + β_{1} X_{1, io} + β_{2} X_{2, io} + \dots + β_{p} X_{p, io},

$\mathrm{g}(\mu_i) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i},$

μ

$\mu$

Modifica: grazie whuber per la correzione.

— P Schnell
fonte

7

Se dovessi scrivere "generalizzato lineare" anziché "lineare" e parametri anziché predittori, ciò sarebbe corretto. (Molti modelli di regressione logistica non sono lineari nei predittori. Ad esempio, nessuna regressione logistica con un termine di interazione sarà lineare nei predittori.)

— whuber

Hai ragione, grazie. Ho aggiornato la mia risposta per riflettere questo.

— P Schnell,

cos'è Pi?

— Aerin,

7

$Y=b_0+∑(b_i X_i)+\epsilon$ $Y$

$Y=1$

P (Y = 1) = \frac{1}{1 + e^{- (B_{0} + Σ (B_{io} X_{io}))}}

$P(Y=1) = {1 \over 1+e^{-(b_0+\sum{(b_iX_i)})}}$

— lennon310
fonte

7

Lineare significa lineare in beta (i coefficienti) ma no in x (le variabili indipendenti), quindi fintanto che i beta non sono non lineari, il modello è lineare.

— Yilun Zhang
fonte

3

Questo è vero - ma di regressione logistica, purtroppo, è un generalizzato modello lineare ed è non lineare nei parametri.

— whuber