Intuizione dietro la regressione logistica

Di recente ho iniziato a studiare l'apprendimento automatico, ma non sono riuscito a cogliere l'intuizione alla base della regressione logistica .

Di seguito sono riportati i fatti sulla regressione logistica che capisco.

Come base per l'ipotesi usiamo la funzione sigmoide . Capisco perché è una scelta corretta, tuttavia perché è l' unica scelta che non capisco. L'ipotesi rappresenta la probabilità che l'output appropriato sia , quindi il dominio della nostra funzione dovrebbe essere , questa è l'unica proprietà della funzione sigmoide che ho trovato utile e appropriata qui, tuttavia molte funzioni soddisfano questa proprietà. Inoltre, la funzione sigmoide ha una derivata in questa forma , ma non vedo l'utilità di questa forma speciale nella regressione logistica. $1$ $[0,1]$ $f(x)(1-f(x))$

Domanda : cosa rende così speciale la funzione sigmoide e perché non possiamo usare altre funzioni con dominio ? $[0,1]$
La funzione di costo è costituita da due parametri se se . Come sopra, capisco perché è corretto, tuttavia perché è l'unica forma? Ad esempio, perché non è stato possibileessere una buona scelta per la funzione di costo? ${\rm Cost}(h_{\theta}(x),y)=-\log(h_{\theta}(x))$ $y=1, {\rm Cost}(h_{\theta}(x),y)=-\log(1-h_{\theta}(x))$ $y=0$ $|h_{\theta(x)}-y|$

Domanda : cosa c'è di così speciale nella suddetta forma di funzione di costo; perché non possiamo usare un altro modulo?

Gradirei se potessi condividere la tua comprensione della regressione logistica.

regression machine-learning logistic

— user16168
fonte

La funzione logit / logistic non è l'unica funzione che può essere utilizzata come funzione di collegamento per i modelli di regressione quando la risposta è distribuita come binomiale. A questo proposito, può aiutarti a leggere la mia risposta qui: differenza-tra-logit-e-probit-modelli .

— gung - Ripristina Monica

La mia risposta qui: la funzione logit è sempre la migliore per la modellazione di regressione dei dati binari , può anche essere utile nel pensare a diverse possibilità.

— gung - Ripristina Monica

@AdamO offre un'eccellente panoramica di seguito. Se desideri informazioni più dettagliate su cosa significhi che il logit è la "funzione di collegamento canonico", puoi leggere qui la risposta di Momo: differenza tra funzione-collegamento-e-collegamento-canonico-funzione-per-glm .

— gung - Ripristina Monica

Un esempio illustrato funzionante di (1) in cui non viene utilizzato un "sigmoide" appare su stats.stackexchange.com/a/70922 . Tale risposta include una spiegazione di (2). Un altro esempio appare su stats.stackexchange.com/questions/63978/… . Una discussione più banale (ma meno tecnica) si svolge su stats.stackexchange.com/a/69873 , concentrandosi sul problema (2).

— whuber

Risposte:

Il modello di regressione logistica è la massima verosimiglianza utilizzando il parametro naturale (rapporto log-odds) per contrastare le variazioni relative del rischio del risultato per differenza di unità nel predittore. Ciò presuppone, ovviamente, un modello di probabilità binomiale per il risultato. Ciò significa che le proprietà di coerenza e robustezza della regressione logistica si estendono direttamente dalla massima probabilità: robusta a mancante a dati casuali, coerenza root-n, esistenza e unicità delle soluzioni per la stima delle equazioni. Ciò presuppone che le soluzioni non si trovino ai limiti dello spazio dei parametri (dove i rapporti di probabilità del log sono ). Poiché la regressione logistica è la massima probabilità, la funzione di perdita è correlata alla probabilità, poiché sono problemi di ottimizzazione equivalenti. $\pm \infty$

Con la quasilikelihood o la stima di equazioni (inferenza semiparametrica), l'esistenza, le proprietà di unicità sono ancora valide, ma il presupposto che il modello medio sia valido non è rilevante e l'inferenza e gli errori standard sono coerenti indipendentemente dalla mancata specificazione del modello. Quindi, in questo caso, non è una questione se il sigmoide sia la funzione corretta, ma uno che ci dà una tendenza in cui possiamo credere ed è parametrizzato da parametri che hanno un'interpretazione estensibile.

Il sigmoide, tuttavia, non è l'unica funzione di modellazione binaria in circolazione. La funzione probit più comunemente contrastata ha proprietà simili. Non stima i rapporti di probabilità del log, ma funzionalmente sembrano molto simili e tendono a dare approssimazioni molto simili alla stessa identica cosa . Non è nemmeno necessario utilizzare le proprietà di limitazione nella funzione del modello medio. Il semplice utilizzo di una curva di registro con una funzione di varianza binomiale fornisce una regressione del rischio relativa, un collegamento di identità con una varianza binomiale fornisce modelli di rischio additivi. Tutto ciò è determinato dall'utente. La popolarità della regressione logistica è, purtroppo, il motivo per cui è così comunemente usato. Tuttavia, ho i miei motivi (quelli che ho dichiarato) perché penso che sia ben giustificato per l'uso nella maggior parte delle circostanze binarie di modellizzazione dei risultati.

Nel mondo dell'inferenza, per esiti rari, il rapporto di probabilità può essere approssimativamente interpretato come un "rischio relativo", ovvero una "variazione percentuale relativa del rischio di risultato confrontando X + 1 con X". Questo non è sempre il caso e, in generale, un odds ratio non può e non deve essere interpretato come tale. Tuttavia, i parametri hanno interpretazione e possono essere facilmente comunicati ad altri ricercatori è un punto importante, qualcosa che purtroppo manca dai materiali didattici degli apprendenti della macchina.

Il modello di regressione logistica fornisce anche le basi concettuali per approcci più sofisticati come la modellazione gerarchica, nonché modelli misti e approcci di verosimiglianza condizionale che sono coerenti e robusti per un numero crescente di parametri di disturbo fastidioso. I GLMM e la regressione logistica condizionale sono concetti molto importanti nelle statistiche ad alta dimensione.

— ADAMO
fonte

Grazie mille per la tua risposta! Sembra che ho un'enorme mancanza di background.

— user16168

Penso che il libro Generalized Linear Models di McCullough e Nelder sarebbe una grande risorsa di base per una prospettiva più statistica.

— AdamO,

In generale, quale libro di testo consigliate in Apprendimento automatico con contenuti descrittivi molto dettagliati?

— user16168

Elementi di apprendimento statistico di Hastie, Tibshirani, Friedman.

— AdamO,

@ user48956 Analisi statistica con Missing Dada, Little & Rubin 2nd ed. I dati mancanti non sono "rappresentati" di per sé, ma "gestiti" per omissione. Questo non è particolare per la regressione logistica: è l'approccio ingenuo usato da tutti i modelli statistici. Quando i dati vengono formattati in una matrice rettangolare, le righe con valori mancanti vengono omesse. Questo è noto come un'analisi completa del caso. I GLM e i GLMMS sono robusti per la mancanza di dati, nel senso che le analisi complete dei casi sono generalmente imparziali e poco efficienti.

— AdamO,

$Y$ $X$ $Y$ $Y$ $X$ $Y_i=X_i\beta+\epsilon_i$

$Y^*$ $Y$ $Y^*$

\begin{aligned} Y_{i}^{*} & = X_{i} β + ϵ_{i} \\ Y_{i} & = 0 if Y_{i}^{*} < 0 \\ Y_{i} & = 1 if Y_{i}^{*} > 0 \end{aligned}

$\begin{align} Y^*_i &= X_i \beta + \epsilon_i\\ &\\ Y_i &= 0 \;\textrm{if}\; Y_i^*<0\\ Y_i &= 1 \; \textrm{if} \; Y_i^*>0 \end{align}$

X

$X$

$Y^*$ $X$ $Y$ $Y^*$

$\beta$ $\epsilon$ $F$ $P\{Y_i=1\}=F(X_i\beta)$

$P\{Y_i=1\}=1-F(-X_i\beta)$

$\epsilon$ $F$

$F$

— Conto
fonte

Quello che hai descritto è esattamente la motivazione per il modello probit, non la regressione logistica.

— AdamO,

ϵ_{i}

$\epsilon_i$

Sembra un'ipotesi molto delicata e difficile da testare. Penso che la regressione logistica possa essere motivata quando tali distribuzioni di errori non reggono.

— AdamO,

@AdamO, comunque motivi la regressione logistica, è comunque matematicamente equivalente a un modello di regressione lineare con soglia in cui gli errori hanno una distribuzione logistica. Concordo sul fatto che questa ipotesi potrebbe essere difficile da verificare, ma è lì indipendentemente da come si motiva il problema. Ricordo una precedente risposta sul CV (non riesco a metterlo in questo momento) che ha dimostrato con uno studio di simulazione che cercare di capire se un modello logistico o probit "si adatta meglio" era fondamentalmente un lancio di moneta, indipendentemente dal vero modello di generazione dei dati . Ho il sospetto che la logistica sia più popolare a causa della comoda interpretazione.

— Macro,

P (Y_{i} = 1) = \frac{e x p (X_{i} β)}{1 + e x p (X_{i} β)}

$P(Y_i=1)=\frac{exp(X_i\beta)}{1+exp(X_i\beta)}$