Perché la regressione logistica è un classificatore lineare?

Poiché stiamo usando la funzione logistica per trasformare una combinazione lineare dell'input in un output non lineare, come può la regressione logistica essere considerata un classificatore lineare?

La regressione lineare è proprio come una rete neurale senza lo strato nascosto, quindi perché le reti neurali sono considerate classificatori non lineari e la regressione logistica è lineare?

logistic classification neural-networks

— Jack Twain
fonte

La trasformazione di "una combinazione lineare dell'ingresso in un'uscita non lineare" è una parte fondamentale della definizione di un classificatore lineare . Ciò riduce questa domanda alla seconda parte, che equivale a dimostrare che le reti neurali non possono generalmente essere espresse come classificatori lineari.

— whuber

@whuber: Come si spiega il fatto che un modello di regressione logistica può prendere variabili predittive polinomiali (ad es.

) per produrre un confine di decisione non lineare? È ancora un classificatore lineare?

w_{1} \cdot x_{1}^{2} + w_{2} \cdot x_{2}^{3}

$w_1 \cdot x_1^2 + w_2 \cdot x_2^3$

— stackoverflowuser2010

@Stack Il concetto di "classificatore lineare" sembra aver origine con il concetto di un modello lineare. La "linearità" in un modello può assumere diverse forme, come descritto in stats.stackexchange.com/a/148713 . Se accettiamo la caratterizzazione di Wikipedia dei classificatori lineari , il tuo esempio polinomiale verrebbe visto come non lineare in termini di "caratteristiche" date

ma sarebbe lineare in termini di caratteristiche

. Questa distinzione fornisce un modo utile per sfruttare le proprietà della linearità.

x_{1}

$x_1$

x_{2}

$x_2$

x_{1}^{2}

$x_1^2$

x_{2}^{3}

$x_2^3$

— whuber

Sono ancora un po 'confuso sulla domanda: il limite decisionale di un classificatore logistico è lineare? Ho seguito il corso di apprendimento automatico Andrew Ng su Coursera e ha menzionato quanto segue :! [Inserisci la descrizione dell'immagine qui ] ( i.stack.imgur.com/gHxfr.png ) Quindi in realtà mi sembra che non ci sia nessuno che risponda dipende dalla linearità o non linearità del limite di decisione, che dipende dalla funzione di ipotesi definita come Htheta (X) dove X è l'input e Theta è le variabili del nostro problema. Ha senso per te?

— brokensword,

Risposte:

\hat{p} = \frac{1}{1 + e^{- \hat{μ}}}, where \hat{μ} = \hat{θ} \cdot x .

$\hat{p} = \frac{1}{1 + e^{-\hat{\mu}}}, \text{ where } \hat{\mu} = \hat{\theta} \cdot x.$

\hat{μ}

$\hat{\mu}$

x

$x$

x

$x$

$\{x:\hat{p} = 0.5\}$ $\hat{\theta} \cdot x = 0$

— Stefan Wager
fonte

x

$x$

θ

$\theta$

quindi anche dalla tua spiegazione. Possiamo dire che la predicazione della rete neurale è una funzione lineare delle attivazioni dell'ultimo livello nascosto?

— Jack Twain,

\hat{θ} \cdot x

$\hat{\theta} \cdot x$

\hat{θ}

$\hat{\theta}$

x

$x$

x

$x$

x

$x$

x

$x$

x

$x$

@Pegah So che questo è vecchio, ma: la regressione logistica ha un limite di decisione lineare. L'output stesso non è ovviamente lineare, è logistico. A seconda di quale lato della linea cade un punto, l'output totale si avvicinerà (ma non raggiungerà mai) rispettivamente 0 o 1. E per aggiungere alla risposta di Stefan Wagners: l'ultima frase non è del tutto corretta, una rete neurale non è lineare quando contiene attivazioni o funzioni di uscita non lineari. Ma può anche essere lineare (nel caso in cui non siano state aggiunte non linearità).

— Chris,

Come osserva Stefan Wagner, il limite decisionale per un classificatore logistico è lineare. (Il classificatore ha bisogno che gli input siano linearmente separabili.) Per questo volevo espandere la matematica nel caso non fosse ovvio.

\frac{1}{1 + e^{- θ \cdot x}} = 0.5

${1 \over {1 + e^{-{\theta \cdot x}}}} = 0.5$

1 = e^{- θ \cdot x}

${1 = e^{-{\theta \cdot x}}}$

e, prendendo il registro naturale di entrambi i lati,

0 = - θ \cdot x = - \sum_{i = 0}^{n} θ_{i} x_{i}

$0 = -\theta \cdot x = -\sum\limits_{i=0}^{n} \theta_i x_i$

quindi il limite di decisione è lineare.

Il motivo per cui il limite di decisione per una rete neurale non è lineare è perché ci sono due strati di funzioni sigmoidi nella rete neurale: uno in ciascuno dei nodi di output più una funzione sigmoid aggiuntiva per combinare e soglie i risultati di ciascun nodo di output.

— Phil Bogle
fonte

In realtà, puoi ottenere un limite di decisione non lineare con un solo livello con attivazione. Vedi l'esempio standard di un XOR con una rete feed-forward a 2 strati.

— James Hirschorn,

$C_{0}$ $C_{1}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x)}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x)}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x | C_{0}) P (C_{0}) + P (x | C_{1}) P (C_{1})} = \frac{1}{1 + \exp (- \log \frac{P (x | C_{0})}{P (x | C_{1})} - \log \frac{P (C_{0})}{P (C_{1})})}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x|C_{0})P(C_{0})+P(x|C_{1})P(C_{1})} = \frac{1}{1+ \exp\left(-\log\frac{P(x|C_{0})}{P(x|C_{1})}-\log \frac{P(C_{0})}{P(C_{1})}\right)}$

1 + e^{ω x}

$1+e^{\omega x}$

P (x | C_{i}) = \exp (\frac{θ_{i} x - b (θ_{i})}{a (ϕ)} + c (x, ϕ))

$P(x|C_{i}) = \exp \left(\frac{\theta_{i} x -b(\theta_{i})}{a(\phi)}+c(x,\phi)\right)$

\log \frac{P (x | C_{0})}{P (x | C_{1})} = [(θ_{0} - θ_{1}) x - b (θ_{0}) + b (θ_{1})] / a (ϕ)

$\log\frac{P(x|C_{0})}{P(x|C_{1})} = \left[ (\theta_{0}-\theta_{1})x - b(\theta_{0})+b(\theta_{1}) \right]/a(\phi)$

Si noti che supponiamo che entrambe le distribuzioni appartengano alla stessa famiglia e abbiano gli stessi parametri di dispersione. Ma, sotto questo presupposto, la regressione logistica può modellare le probabilità per l'intera famiglia di distribuzioni esponenziali.

— jpmuc
fonte