Perché la regressione della cresta funziona bene in presenza di multicollinearità?


14

Sto imparando la regressione della cresta e so che la regressione della cresta tende a funzionare meglio in presenza di multicollinearità. Mi chiedo perché sia ​​vero? O una risposta intuitiva o matematica sarebbe soddisfacente (entrambi i tipi di risposte sarebbero ancora più soddisfacenti).

Inoltre, so che tale β può sempre essere ottenuta, ma quanto bene funziona cresta regressione in presenza di collinearità esatta (una variabile indipendente è una funzione lineare di un altro)?β^


5
Per quanto riguarda la tua seconda domanda: se hai la colinearità esatta puoi semplicemente rimuovere una delle variabili. Non è necessaria la regressione della cresta.
Peter Flom - Ripristina Monica

Risposte:


13

x1x2yè la terza dimensione) e spesso esiste un piano "migliore" molto chiaro. Ma con colinearità la relazione è in realtà una linea attraverso lo spazio tridimensionale con i dati sparsi intorno ad esso. Ma la routine di regressione cerca di adattare un piano a una linea, quindi esiste un numero infinito di piani che si intersecano perfettamente con quella linea, il piano scelto dipende dai punti influenti nei dati, cambia uno di quei punti solo un po 'e il piano di adattamento "migliore" cambia un po '. Ciò che fa la regressione della cresta è di tirare il piano scelto verso modelli più semplici / più sani (valori di bias verso 0). Pensa a un elastico dall'origine (0,0,0) al piano che tira il piano verso 0 mentre i dati lo tireranno via per un buon compromesso.


@ Trynna, ci sono immagini che illustrano ciò che Greg ha detto sul problema della collinearità.
ttnphns,

1
Questa è un'ottima spiegazione geometrica del perché la multicollinearità è un problema nella regressione OLS! Ma ancora non capisco bene perché tirare l'aereo all'origine risolva il problema.
TrynnaDoStat,

2
@ TrynnaDoStat, La preoccupazione principale è la variabilità delle stime, con la multicolinearità, una piccola modifica in un singolo punto dati può far oscillare selvaggiamente le stime dei coefficienti (senza distorsioni). Orientamento verso 0 non c'è molto cambiamento nelle stime dei coefficienti (perché quell'elastico li sta spingendo verso 0) con una piccola modifica in un singolo punto dati, riducendo la variabilità.
Greg Snow,

Grazie @ttnphns per il link alle foto: senza di essa è stato un bel tentativo ottenere la risposta. Ora la risposta di Greg è chiara e ciò di cui avevo bisogno per capire questa linea in ESLII (2a edizione): "un coefficiente positivo selvaggiamente grande su una variabile può essere cancellato da un coefficiente negativo altrettanto grande sul suo cugino correlato. Imporre un vincolo dimensionale al coefficienti questo problema è alleviato ".
Tommaso Guerrini,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.