Regressione logistica - Preoccupazioni / insidie ​​della multicinearità


16

Nella regressione logistica, c'è bisogno di preoccuparsi tanto della multicollinearità quanto della regressione OLS diretta?

Ad esempio, con una regressione logistica, laddove esiste la multicollinearità, dovresti essere prudente (come faresti con la regressione OLS) nel prendere l'inferenza dai coefficienti Beta?

Per la regressione OLS una "correzione" per l'alta multicollinearità è la regressione della cresta, esiste qualcosa del genere per la regressione logistica? Inoltre, eliminare le variabili o combinare le variabili.

Quali approcci sono ragionevoli per ridurre gli effetti della multicollinearità in una regressione logistica? Sono essenzialmente gli stessi di OLS?

(Nota: questo non ha lo scopo di un esperimento progettato)

Risposte:


16

Tutti gli stessi principi riguardanti la multicollinearità si applicano alla regressione logistica come fanno per OLS. È possibile utilizzare la stessa diagnostica per la valutazione della multicollinearità (ad es. VIF, numero di condizione, regressioni ausiliarie) e utilizzare le stesse tecniche di riduzione dimensionale (come la combinazione di variabili mediante l'analisi dei componenti principali).

Questa risposta di chl ti porterà ad alcune risorse e pacchetti R per l'adattamento di modelli logistici penalizzati (oltre a una buona discussione su questi tipi di procedure di regressione penalizzate). Ma alcuni dei tuoi commenti sulle "soluzioni" alla multicollinearità sono un po 'sconcertanti per me. Se ti interessa solo stimare le relazioni per variabili che non sono collineari, queste "soluzioni" possono andare bene, ma se sei interessato a stimare i coefficienti di variabili che sono collineari, queste tecniche non risolvono il tuo problema. Sebbene il problema della multicollinearità sia tecnico in quanto la matrice di variabili predittive non può essere invertita, ha un analogo logico in quanto i predittori non sono indipendenti e i loro effetti non possono essere identificati in modo univoco.


2
(+1) Sì, esistono alcune versioni penalizzate della regressione logistica (o più in generale, GLM), vedere alcuni riferimenti lì: stats.stackexchange.com/questions/4272/… .
chl

@chl, grazie. Ho aggiornato per collegarmi alla tua risposta precedente.
Andy W,

Grazie anche. Questo è stato solo un commento sulla tua già eccellente risposta.
chl
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.