Come affrontare la perfetta separazione nella regressione logistica?

Se hai una variabile che separa perfettamente gli zero e quelli nella variabile target, R produrrà il seguente messaggio di avviso di "separazione perfetta o quasi perfetta":

Warning message:
glm.fit: fitted probabilities numerically 0 or 1 occurred 

Otteniamo ancora il modello ma le stime dei coefficienti sono gonfiate.

Come gestisci questo in pratica?

Una soluzione a questo è utilizzare una forma di regressione penalizzata. In realtà, questo è il motivo originale per cui alcune delle forme di regressione penalizzate sono state sviluppate (anche se si sono rivelate avere altre proprietà interessanti.

Installa e carica il pacchetto glmnet in R e sei quasi sempre pronto. Uno degli aspetti meno intuitivi di glmnet è che puoi alimentare solo le matrici, non le formule a cui siamo abituati. Tuttavia, puoi guardare model.matrix e simili per costruire questa matrice da un data.frame e una formula ...

Ora, quando ti aspetti che questa separazione perfetta non sia solo un sottoprodotto del tuo campione, ma potrebbe essere vero nella popolazione, in particolare non vuoi gestirlo: usa questa variabile di separazione semplicemente come unico predittore per il tuo risultato, non impiegando un modello di qualsiasi tipo.

Hai diverse opzioni:

1. Rimuovi parte del pregiudizio.

   (a) Penalizzando la probabilità secondo il suggerimento di @ Nick. Il pacchetto logistf in R o l' FIRTHopzione in SAS PROC LOGISTICimplementano il metodo proposto in Firth (1993), "Riduzione del bias delle stime di massima verosimiglianza", Biometrika , 80 , 1 .; che rimuove il bias del primo ordine dalle stime di massima verosimiglianza. ( Qui @Gavin consiglia ilbrglm pacchetto, che non ho familiarità, ma ho capito che implementa un approccio simile per le funzioni di collegamento non canoniche, ad esempio probit.)

   (b) Utilizzando stime mediane imparziali nella regressione logistica condizionale esatta. Pacchetto elrm o logistiX in R, o la EXACTdichiarazione in SAS PROC LOGISTIC.

2. Escludere i casi in cui si verifica la categoria predittore o il valore che causa la separazione. Questi potrebbero essere al di fuori del tuo ambito di applicazione; o degno di ulteriori, approfondite indagini. (Il pacchetto R safeBinaryRegression è utile per trovarli.)

3. Ri-cast il modello. In genere questo è qualcosa che avresti fatto prima se ci avessi pensato, perché è troppo complesso per la dimensione del campione.

   (a) Rimuovere il predittore dal modello. Dicey, per le ragioni fornite da @Simon: "Stai rimuovendo il predittore che spiega meglio la risposta".

   (b) Comprimendo le categorie di predittori / binning i valori del predittore. Solo se questo ha senso.

   (c) Ri-esprimere il predittore come due (o più) fattori incrociati senza interazione. Solo se questo ha senso.

4. $\frac{5}{2}$$\frac{1}{2}$

5. Fare niente. (Ma calcola gli intervalli di confidenza in base alle probabilità del profilo, poiché le stime di Wald dell'errore standard saranno gravemente sbagliate.) Un'opzione spesso trascurata. Se lo scopo del modello è solo quello di descrivere ciò che hai appreso sulle relazioni tra predittori e risposta, non c'è da vergognarsi nel citare un intervallo di confidenza per un rapporto di probabilità, diciamo, 2.3. (In effetti potrebbe sembrare difficile citare intervalli di confidenza basati su stime imparziali che escludono i rapporti di probabilità meglio supportati dai dati.) I problemi sorgono quando si tenta di prevedere utilizzando le stime puntuali e il predittore su cui si verifica la separazione inonda gli altri.

6. Utilizzare un modello di regressione logistica nascosto, come descritto in Rousseeuw & Christmann (2003), "Robustezza contro separazione e valori anomali nella regressione logistica", Statistiche computazionali e analisi dei dati , 43 , 3, e implementato nel pacchetto R hlr . (@ user603 suggerisce questo. ) Non ho letto il documento, ma dicono in astratto "viene proposto un modello leggermente più generale in base al quale la risposta osservata è fortemente correlata ma non uguale alla risposta vera non osservabile", che suggerisce di a me potrebbe non essere una buona idea usare il metodo a meno che non sembri plausibile.

7. "Cambia alcune osservazioni selezionate casualmente da 1 a 0 o da 0 a 1 tra le variabili che mostrano una separazione completa": il commento di RobertF . Questo suggerimento sembra derivare dal considerare la separazione come un problema di per sé piuttosto che un sintomo di una scarsità di informazioni nei dati che potrebbe portarti a preferire altri metodi alla stima della massima verosimiglianza o a limitare le inferenze a quelle che puoi fare con ragionevole precisione - approcci che hanno i loro meriti e non sono solo "correzioni" per la separazione. (A parte il fatto che è spudoratamente ad hoc , è sgradevole per la maggior parte degli analisti che pongono la stessa domanda sugli stessi dati, facendo le stesse ipotesi, dovrebbero dare risposte diverse a causa del risultato di un lancio di monete o altro.)

Questa è un'espansione delle risposte di Scortchi e Manoel, ma dal momento che sembra che tu abbia usato il RI pensavo che avrei fornito del codice. :)

Credo che la soluzione più semplice e diretta al tuo problema sia quella di utilizzare un'analisi bayesiana con presupposti non informativi come proposto da Gelman et al (2008). Come menziona Scortchi, Gelman consiglia di mettere un Cauchy prima con mediana 0,0 e scala 2,5 su ciascun coefficiente (normalizzato per avere media 0,0 e una DS di 0,5). Ciò regolarizzerà i coefficienti e li tirerà leggermente verso lo zero. In questo caso è esattamente quello che vuoi. A causa delle code molto larghe, il Cauchy consente ancora grandi coefficienti (al contrario del normale dalla coda corta), di Gelman:

Come eseguire questa analisi? Usa la bayesglmfunzione nel pacchetto arm che implementa questa analisi!

library(arm)

set.seed(123456)
# Faking some data where x1 is unrelated to y
# while x2 perfectly separates y.
d <- data.frame(y  =  c(0,0,0,0, 0, 1,1,1,1,1),
                x1 = rnorm(10),
                x2 = sort(rnorm(10)))

fit <- glm(y ~ x1 + x2, data=d, family="binomial")

## Warning message:
## glm.fit: fitted probabilities numerically 0 or 1 occurred 

summary(fit)
## Call:
## glm(formula = y ~ x1 + x2, family = "binomial", data = d)
##
## Deviance Residuals: 
##       Min          1Q      Median          3Q         Max  
## -1.114e-05  -2.110e-08   0.000e+00   2.110e-08   1.325e-05  
## 
## Coefficients:
##               Estimate Std. Error z value Pr(>|z|)
## (Intercept)    -18.528  75938.934       0        1
## x1              -4.837  76469.100       0        1
## x2              81.689 165617.221       0        1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 1.3863e+01  on 9  degrees of freedom
## Residual deviance: 3.3646e-10  on 7  degrees of freedom
## AIC: 6
## 
## Number of Fisher Scoring iterations: 25

Non funziona così bene ... Ora la versione bayesiana:

fit <- bayesglm(y ~ x1 + x2, data=d, family="binomial")
display(fit)
## bayesglm(formula = y ~ x1 + x2, family = "binomial", data = d)
##             coef.est coef.se
## (Intercept) -1.10     1.37  
## x1          -0.05     0.79  
## x2           3.75     1.85  
## ---
## n = 10, k = 3
## residual deviance = 2.2, null deviance = 3.3 (difference = 1.1)

Super-semplice, no?

Riferimenti

Gelman et al (2008), "Una distribuzione precedente di default debolmente informativa per i modelli di regressione logistica e altri", Ann. Appl. Stat., 2, 4 http://projecteuclid.org/euclid.aoas/1231424214

Una delle spiegazioni più approfondite sulle questioni della "separazione quasi completa" nella massima probabilità è il documento di Paul Allison. Sta scrivendo sul software SAS, ma i problemi che affronta sono generalizzabili a qualsiasi software:

• La separazione completa si verifica ogni volta che una funzione lineare di x può generare previsioni perfette di y

• La separazione quasi completa si verifica quando (a) esiste un vettore coefficiente b tale che bxi ≥ 0 ogni volta che yi = 1 , e bxi ≤ 0 * ogni volta che ** yi = 0 e questa uguaglianza vale per almeno un caso in ciascuna categoria del variabile dipendente. In altre parole, nel caso più semplice, per qualsiasi variabile dicotomica indipendente in una regressione logistica, se nella tabella 2 × 2 è presente uno zero formato da quella variabile e dalla variabile dipendente, la stima ML per il coefficiente di regressione non esiste.

Allison discute molte delle soluzioni già menzionate tra cui la cancellazione di variabili problematiche, il collasso delle categorie, il non fare nulla, l'utilizzo della regressione logistica esatta , la stima bayesiana e la stima della massima probabilità penalizzata.

http://www2.sas.com/proceedings/forum2008/360-2008.pdf

Per i modelli logistici di inferenza, è importante sottolineare prima che non ci sono errori qui. In warningin ti sta informando correttamente che lo stimatore della massima verosimiglianza si trova al limite dello spazio dei parametri. Il rapporto di probabilità di$\infty$

Con i dati generati lungo le linee di

x <- seq(-3, 3, by=0.1)
y <- x > 0
summary(glm(y ~ x, family=binomial))

Viene emesso un avviso:

Warning messages:
1: glm.fit: algorithm did not converge 
2: glm.fit: fitted probabilities numerically 0 or 1 occurred 

che ovviamente riflette la dipendenza che è integrata in questi dati.

In R il test Wald si trova con summary.glmo con waldtestnel lmtestpacchetto. Il test del rapporto di verosimiglianza viene eseguito con anovao con lrtestinlmtest confezione. In entrambi i casi, la matrice di informazioni è valutata all'infinito e non è disponibile alcuna inferenza. Piuttosto, R non produce in uscita, ma non ci si può fidare. L'inferenza che tipicamente R produce in questi casi ha valori di p molto vicini a uno. Questo perché la perdita di precisione in sala operatoria è minore rispetto alla perdita di precisione nella matrice varianza-covarianza.

Alcune soluzioni descritte qui:

Utilizzare uno stimatore in un passaggio,

Esistono molte teorie a supporto della bassa propensione, efficienza e generalizzabilità degli stimatori a un passo. È facile specificare uno stimatore one-step in R e i risultati sono in genere molto favorevoli per la previsione e l'inferenza. E questo modello non divergerà mai, perché l'iteratore (Newton-Raphson) semplicemente non ha la possibilità di farlo!

fit.1s <- glm(y ~ x, family=binomial, control=glm.control(maxit=1))
summary(fit.1s)

dà:

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept) -0.03987    0.29569  -0.135    0.893    
x            1.19604    0.16794   7.122 1.07e-12 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Quindi puoi vedere che le previsioni riflettono la direzione del trend. E l'inferenza è altamente suggestiva delle tendenze che crediamo essere vere.

eseguire un test del punteggio,

La statistica del punteggio (o Rao) differisce dal rapporto di probabilità e dalle statistiche calve. Non richiede una valutazione della varianza secondo l'ipotesi alternativa. Adattiamo il modello al valore null:

mm <- model.matrix( ~ x)
fit0 <- glm(y ~ 1, family=binomial)
pred0 <- predict(fit0, type='response')
inf.null <- t(mm) %*% diag(binomial()$variance(mu=pred0)) %*% mm
sc.null <- t(mm) %*% c(y - pred0)
score.stat <- t(sc.null) %*% solve(inf.null) %*% sc.null ## compare to chisq
pchisq(score.stat, 1, lower.tail=F)

$\chi^2$

> pchisq(scstat, df=1, lower.tail=F)
             [,1]
[1,] 1.343494e-11

In entrambi i casi hai inferenza per un OR di infinito.

e utilizzare stime imparziali mediane per un intervallo di confidenza.

È possibile produrre un IC al 95% imparziale mediano e non singolare per il rapporto di probabilità infinito utilizzando la stima imparziale mediana. Il pacchetto epitoolsin R può fare questo. E faccio un esempio di implementazione di questo stimatore qui: intervallo di confidenza per il campionamento di Bernoulli

Fai attenzione a questo messaggio di avviso di R. Dai un'occhiata a questo post di Andrew Gelman e vedrai che non è sempre un problema di perfetta separazione, ma a volte un bug conglm . Sembra che se i valori iniziali sono troppo lontani dalla stima della massima verosimiglianza, esplode. Quindi, controlla prima con altri software, come Stata.

Se hai davvero questo problema, puoi provare a usare la modellazione bayesiana, con priori informativi.

Ma in pratica mi libero dai predittori che causano il problema, perché non so come scegliere un precedente informativo. Ma immagino che ci sia un articolo di Gelman sull'uso di informazioni preliminari quando si ha questo problema di perfetto problema di separazione. Basta google. Forse dovresti provarlo.

Non sono sicuro di essere d'accordo con le affermazioni nella tua domanda.

Penso che quel messaggio di avviso significhi, per alcuni X osservati livelli nei dati, la probabilità adattata è numericamente 0 o 1. In altre parole, alla risoluzione, mostra come 0 o 1.

Puoi correre predict(yourmodel,yourdata,type='response') e troverai 0 o / e 1 lì come probabilità prevista.

Di conseguenza, penso che sia giusto usare solo i risultati.

Capisco che questo è un vecchio post, tuttavia continuerò a rispondere a questo dato che ho lottato giorni con esso e può aiutare gli altri.

La separazione completa si verifica quando le variabili selezionate per adattarsi al modello possono differenziare in modo molto preciso tra 0 e 1 o sì e no. Il nostro intero approccio alla scienza dei dati si basa sulla stima della probabilità, ma in questo caso fallisce.

Passaggi di rettifica: -

1. Usa bayesglm () invece di glm (), nel caso in cui la varianza tra le variabili sia bassa

2. A volte usare (maxit = "qualche valore numerico") insieme a bayesglm () può aiutare

3.Il terzo e più importante controllo per le variabili selezionate per l'adattamento del modello, deve esserci una variabile per cui la multi collinearità con la variabile Y (ritaglio) è molto alta, scartare quella variabile dal modello.

Come nel mio caso, disponevo di dati di abbandono delle telecomunicazioni per prevedere lo sfasamento dei dati di convalida. Avevo una variabile nei miei dati di allenamento che poteva differenziare molto tra il sì e il no. Dopo averlo lasciato cadere ho potuto ottenere il modello corretto. Inoltre puoi usare stepwise (fit) per rendere il tuo modello più preciso.