Come è possibile gestire stime instabili nella regressione lineare con elevata multi-collinearità senza eliminare le variabili?

Stabilità beta nella regressione lineare con elevata multi-collinearità?

Diciamo in una regressione lineare, le variabili e hanno un'elevata multi-collinearità (la correlazione è intorno allo 0,9).x $x_1$$x_2$

Siamo preoccupati per la stabilità del coefficiente , quindi dobbiamo trattare la multi-collinearità.$\beta$

La soluzione per i libri di testo sarebbe semplicemente eliminare una delle variabili.

Ma non vogliamo perdere informazioni utili semplicemente gettando via le variabili.

Eventuali suggerimenti?

Puoi provare l' approccio della regressione della cresta nel caso in cui la matrice di correlazione sia vicina al singolare (ovvero le variabili hanno correlazioni elevate). Ti fornirà una solida stima di .$\beta$

L'unica domanda è come scegliere il parametro di regolarizzazione . Non è un problema semplice, anche se suggerisco di provare valori diversi.$\lambda$

Spero che sia di aiuto!

Bene, c'è un metodo ad hoc che ho usato prima. Non sono sicuro che questa procedura abbia un nome ma abbia un senso intuitivo.

Supponiamo che il tuo obiettivo sia quello di adattare il modello

$$Y_i = \beta_0 + \beta_1 X_i + \beta_2 Z_i + \varepsilon_i$$

dove i due predittori - - sono altamente correlati. Come hai sottolineato, usarli entrambi nello stesso modello può fare cose strane per le stime dei coefficienti e i valori . Un'alternativa è quella di adattarsi al modello$X_i, Z_i$$p$

$$Z_i = \alpha_0 + \alpha_1 X_i + \eta_i$$

Quindi il residuo non sarà correlato con e può, in un certo senso, essere pensato come la parte di che non è inclusa nella sua relazione lineare con . Quindi, è possibile procedere per adattarsi al modelloX i Z i X $\eta_i$$X_i$$Z_i$$X_i$

$$Y_i = \theta_0 + \theta_1 X_i + \theta_2 \eta_i + \nu_i$$

che catturerà tutti gli effetti del primo modello (e, in effetti, avrà esattamente lo stesso del primo modello) ma i predittori non sono più collineari.$R^2$

Modifica: l'OP ha chiesto una spiegazione del perché i residui non hanno, in via definitiva, una correlazione di esempio zero con il predittore quando si omette l'intercettazione come fanno quando l'intercettazione è inclusa. È troppo lungo per pubblicare un commento, quindi ho fatto una modifica qui. Questa derivazione non è particolarmente illuminante (purtroppo non sono riuscito a trovare un argomento intuitivo ragionevole) ma mostra ciò che l'OP ha richiesto :

Quando l'intercettazione viene omessa in una semplice regressione lineare , , quindi . La correlazione di esempio tra ed è proporzionale a dove indica la media campionaria della quantità sotto la barra. Ora mostrerò che questo non è necessariamente uguale a zero. ei=yi-xi∑xiy$\hat \beta = \frac{ \sum x_i y_i}{\sum x_i^2}$ xiei ¯ x e - ¯ x ¯ e ¯ $e_i = y_i - x_i \frac{ \sum x_i y_i}{\sum x_i^2}$$x_i$$e_i$

$$\overline{xe} - \overline{x}\overline{e}$$ $\overline{\cdot}$

Per prima cosa abbiamo

$$\overline{xe} = \frac{1}{n} \left( \sum x_i y_i - x_{i}^2 \cdot \frac{ \sum x_i y_i}{\sum x_i^2} \right) = \overline{xy} \left( 1 - \frac{ \sum x_{i}^2}{ \sum x_{i}^2 } \right) = 0$$

ma

$$\overline{x} \overline{e} = \overline{x} \left( \overline{y} - \frac{\overline{x} \cdot \overline{xy}}{\overline{x^2}} \right) = \overline{x}\overline{y} - \frac{\overline{x}^2 \cdot \overline{xy}}{\overline{x^2}}$$

quindi, affinché e abbiano una correlazione di esempio esattamente pari a 0, è necessario che sia . Cioè, abbiamo bisogno di$e_i$$x_i$$\overline{x}\overline{e}$$0$

$$\overline{y} = \frac{ \overline{x} \cdot \overline{xy}}{\overline{x^2}}$$

che non vale in generale per due serie arbitrarie di dati .$x, y$

Mi piacciono entrambe le risposte fornite finora. Vorrei aggiungere alcune cose.

Un'altra opzione è che puoi anche combinare le variabili. Questo viene fatto standardizzando entrambi (cioè trasformandoli in punteggi z), calcolandone la media e adattando il modello solo alla variabile composita. Questo sarebbe un buon approccio se ritieni che siano due diverse misure dello stesso costrutto sottostante. In tal caso, hai due misurazioni contaminate da errori. Il valore vero più probabile per la variabile che davverola cura è tra di loro, quindi la loro media fornisce una stima più accurata. Li standardizzi prima per metterli sulla stessa scala, in modo che i problemi nominali non contaminino il risultato (ad esempio, non vorrai fare la media di diverse misurazioni di temperatura se alcune sono Fahrenheit e altre sono Celsius). Naturalmente, se sono già sulla stessa scala (ad esempio, diversi sondaggi di opinione pubblica altamente correlati), puoi saltare questo passaggio. Se ritieni che una delle tue variabili sia più accurata dell'altra, potresti fare una media ponderata (magari usando i reciproci degli errori di misurazione).

Se le tue variabili sono solo misure diverse dello stesso costrutto e sono sufficientemente altamente correlate, potresti davvero scartarne una senza perdere molte informazioni. Ad esempio, una volta mi trovavo in una situazione in cui volevo usare una covariata per assorbire un po 'della varianza dell'errore e aumentare il potere, ma dove non mi importava di quella covariata - non era sostanzialmente germano. Avevo diverse opzioni disponibili ed erano tutte correlate tra loro . Praticamente ne ho scelto uno a caso e sono andato avanti, e ha funzionato bene. Sospetto che avrei perso il potere bruciando altri due gradi di libertà se avessi incluso anche gli altri usando qualche altra strategia. Certo, avrei potuto combinarli, ma perché preoccuparsi? $r>.98$Tuttavia, ciò dipende in modo critico dal fatto che le variabili sono correlate perché sono due versioni diverse della stessa cosa; se c'è una ragione diversa per cui sono correlati, questo potrebbe essere totalmente inappropriato.

Come suggerisce ciò, ti suggerisco di pensare a ciò che sta dietro le tue variabili correlate. Cioè, hai bisogno di una teoria del perché sono così fortemente correlati per fare il miglior lavoro nel scegliere quale strategia usare. Oltre alle diverse misure della stessa variabile latente, alcune altre possibilità sono una catena causale (ovvero ) e situazioni più complicate in cui le variabili sono il risultato di più forze causali, alcune delle quali sono le lo stesso per entrambi. Forse il caso più estremo è quello di una variabile soppressore, che @whuber descrive nel suo commento qui sotto. Il suggerimento di @ Macro, ad esempio, presuppone che tu sia principalmente interessato a e ti chiedi del contributo aggiuntivo di$X_1\rightarrow X_2\rightarrow Y$$X$$Z$ dopo aver rappresentato per contributo 's. Quindi, pensare perché le variabili sono correlate e che cosa volete sapere vi aiuterà a decidere quale (cioè, o ) può essere considerato e che . La chiave è usare le conoscenze teoriche per informare la tua scelta. $X$$x_1$$x_2$$X$$Z$

Sono d'accordo sul fatto che la regressione della cresta sia probabilmente migliore, perché ti consente di utilizzare le variabili che avevi previsto originariamente e probabilmente produrrà beta molto vicini ai loro veri valori (anche se saranno di parte - vedi qui o qui per maggiori informazioni ). Tuttavia, penso che abbia anche due potenziali aspetti negativi: è più complicato (richiede una maggiore raffinatezza statistica), e il modello risultante è più difficile da interpretare, secondo me.

Ritengo che forse l'approccio finale sarebbe quello di adattare un modello di equazione strutturale. Questo perché ti consentirebbe di formulare l'esatta serie di relazioni che ritieni operative, comprese le variabili latenti. Tuttavia, non conosco SEM abbastanza bene per dire qualcosa al riguardo qui, oltre a menzionare la possibilità. (Sospetto anche che sarebbe eccessivo nella situazione che descrivi con solo due covariate.)