Proprietà delle regressioni logistiche

Stiamo lavorando con alcune regressioni logistiche e ci siamo resi conto che la probabilità media stimata è sempre uguale alla proporzione di quelle nel campione; cioè, la media dei valori adattati è uguale alla media del campione.

Qualcuno può spiegarmi il motivo o darmi un riferimento dove posso trovare questa dimostrazione?

Il comportamento che stai osservando è il caso "tipico" della regressione logistica, ma non è sempre vero. Contiene anche molto più generalità (vedi sotto). È la conseguenza della confluenza di tre fatti separati.

1. La scelta di modellare le probabilità del log come funzione lineare dei predittori,
2. L'uso della massima verosimiglianza per ottenere stime dei coefficienti nel modello di regressione logistica, e
3. L'inclusione di un termine di intercettazione nel modello.

Se una delle precedenti non è presente, le probabilità medie stimate non corrisponderanno, in generale, alla proporzione di quelle nel campione.

Tuttavia, (quasi) tutto il software statistico utilizza la stima della massima verosimiglianza per tali modelli, quindi, in pratica, gli elementi 1 e 2 sono essenzialmente sempre presenti e l'elemento 3 è solitamente presente, tranne in casi speciali.

Alcuni dettagli

Nel tipico quadro di regressione logistica, osserviamo il risultato di prove binomiali indipendenti con probabilità . Permettetemi y i be le risposte osservate. Quindi la probabilità totale è L = n ∏ i = 1 p y i i ( 1 - p i ) 1 - y i = n ∏ i = 1 exp ( y i log ( p i / ( 1 - p $p_i$$y_i$ quindi la probabilità logaritmica è ℓ = n ∑ i = 1 y i log ( p i / ( 1 - p i ) ) + n ∑ i = 1 log ( 1 - p i

$$\mathcal L = \prod_{i=1}^n p_i^{y_i} (1-p_i)^{1 - y_i} = \prod_{i=1}^n \exp( y_i \log(p_i/(1-p_i)) + \log(1-p_i)) \>,$$ $$\ell = \sum_{i=1}^n y_i \log(p_i / (1-p_i)) + \sum_{i=1}^n \log(1-p_i) \> .$$

Ora, abbiamo un vettore di predittori per ogni osservazione e dal Fatto 1 sopra, il modello di regressione logistica pone quel log p $\newcommand{\x}{\mathbf x}\x_i$

$$\log \frac{p_i}{1-p_i} = \beta^T \x_i \>,$$ $\beta$$p_i = 1/(1+e^{-\beta^T \x_i})$

$\partial \ell / \partial \beta = 0$

$$\frac{\partial \ell}{\partial \beta} = \sum_i y_i \x_i - \sum_i \frac{\x_i}{1+\exp(-\beta^T \x_i)} = \sum_i y_i \x_i - \sum_i p_i \x_i \>,$$ $$\sum_i y_i \x_i = \sum_i \hat{p}_i \x_i \>,$$ poiché gli MLE sono invarianti sotto le trasformazioni, quindi $\hat{p}_i = (1+\exp(-\hat{\beta}^T \x_i))^{-1}$ in questo caso.

Usando Fatto 3, se $\x_i$ ha un componente $j$ che è sempre 1 per ogni $i$, poi $\sum_i y_i x_{ij} = \sum_i y_i = \sum_i \hat{p}_i$ e quindi la proporzione empirica di risposte positive corrisponde alla media delle probabilità adattate.

Una simulazione

L'inclusione di un'intercettazione è importante. Ecco un esempio in$R$ per dimostrare che il comportamento osservato potrebbe non verificarsi quando non è presente alcuna intercetta nel modello.

x <- rnorm(100)
p <- 1/(1+exp(-3*x))
y <- runif(100) <= p
mean(y)
# Should be identical to mean(y)
mean( predict( glm(y~x, family="binomial"), type="response" ) )
# Won't be identical (usually) to mean(y)
mean( predict( glm(y~x+0, family="binomial"), type="response") )

Caso generale : come accennato in precedenza, la proprietà che la risposta media è uguale alla media media prevista è molto più generica per la classe di modelli lineari generalizzati adattati dalla massima probabilità, utilizzando la funzione di collegamento canonico e includendo un'intercettazione nella modello.

Riferimenti

Alcuni buoni riferimenti per la teoria associata sono i seguenti.

1. A. Agresti (2002), Analisi dei dati categorici , 2a edizione, Wiley.
2. P. McCullagh e JA Nelder (1989), Generalized Linear Models , 2nd ed., Chapman & Hall. (Testo di autori originali dei metodi generali.)