Qual è l'interpretazione della covarianza dei coefficienti di regressione?

La funzione lm in R può stampare la covarianza stimata dei coefficienti di regressione. Cosa ci danno queste informazioni? Ora possiamo interpretare meglio il modello o diagnosticare i problemi che potrebbero essere presenti nel modello?

r multiple-regression least-squares

— mss
fonte

La stessa interpretazione di tutte le altre covarianze --- covariazione lineare? L'uso principale è calcolare la varianza dei contrasti di interesse selezionati, ad esempio per testare i contrasti.

— kjetil b halvorsen,

Risposte:

L'uso più basilare della matrice di covarianza è quello di ottenere gli errori standard delle stime di regressione. Se il ricercatore è interessato solo agli errori standard dei singoli parametri di regressione, può semplicemente prendere la radice quadrata della diagonale per ottenere i singoli errori standard.

Tuttavia, spesso potresti essere interessato a una combinazione lineare di parametri di regressione. Ad esempio, se hai una variabile indicatore per un determinato gruppo, potresti essere interessato alla media del gruppo, che sarebbe

$\beta_0 + \beta_{\rm grp}$ .

Quindi, per trovare l'errore standard per la media stimata di quel gruppo, dovresti

$\sqrt{X^\top S X}$ ,

dove è un vettore dei tuoi contrasti e è la matrice di covarianza. Nel nostro caso, se abbiamo solo la covariata di addizione "grp", allora ( per l'intercetta, per l'appartenenza al gruppo). $X$ $S$ $X = (1,1)$ $1$ $1$

Inoltre, la matrice di covarianza (o più oltre, la matrice di correlazione, identificata in modo univoco dalla matrice di covarianza ma non viceversa) può essere molto utile per la diagnostica di alcuni modelli. Se due variabili sono altamente correlate, un modo per pensarci è che il modello ha difficoltà a capire quale variabile è responsabile di un effetto (perché sono così strettamente correlate). Questo può essere utile per una varietà di casi, come la scelta di sottoinsiemi di covariate da utilizzare in un modello predittivo; se due variabili sono altamente correlate, è possibile utilizzare solo una delle due nel modello predittivo.

— Cliff AB
fonte

Grazie per la spiegazione. Nel tuo ultimo paragrafo stai descrivendo i problemi che possono sorgere quando le variabili indipendenti sono altamente collineari. Sembra che sarebbe più facile guardare la covarianza / correlazione di s reali rispetto a s. c'è un inverso nella formula.

X

$X$

β

$\beta$

V a r (\hat{β}) = E ({\hat{ε}}^{2}) {(X^{'} X)}^{- 1}

$Var(\hat\beta)=E(\hat\varepsilon^2)\left(X^\prime X\right)^{-1}$

— mss

Esistono due "tipi" di coefficienti di regressione:

Coefficienti di regressione "veri" (generalmente indicati con ) che descrivono il processo di generazione dei dati sottostante. Questi sono numeri fissi o "parametri". Un esempio potrebbe essere la velocità della luce , che (assumiamo) è sempre la stessa ovunque nell'universo accessibile. $\beta$ $c$
Coefficienti di regressione stimati (generalmente indicati con o ) calcolati da campioni di dati. I campioni sono raccolte di variabili casuali, quindi i coefficienti di regressione stimati sono anche variabili casuali. Un esempio potrebbe essere una stima di ottenuta in un esperimento. $b$ $\hat \beta$ $c$

Ora pensa a cosa significa covarianza. Prendere qualsiasi due variabili casuali e . Seè alto, quindi ogni volta che disegni un grande valore assoluto di puoi anche aspettarti di disegnare un grande valore assoluto di nella stessa direzione. Si noti che "alto" qui è relativo alla quantità di variazione in e , come sottolineato nei commenti. $X$ $Y$ $\left| \mathrm{Cov}\left(X,Y\right) \right|$ $X$ $Y$ $X$ $Y$

La covarianza (stimata) di due coefficienti di regressione è la covarianza delle stime , . Se la covarianza tra i coefficienti stimati e è alta, allora in qualsiasi campione in cui è alta, puoi anche aspettarti che sia alta. In un senso più bayesiano, contiene informazioni su . $b$ $b_1$ $b_2$ $b_1$ $b_2$ $b_1$ $b_2$

Notare ancora che "alto" è relativo. Qui " è alto" significa che " è elevato rispetto al suo errore standard" e la loro covarianza essendo "alta" significa "alta rispetto al prodotto dei loro errori standard". Un modo per appianare questi singhiozzi interpretativi è standardizzare ogni input di regressione dividendo per la sua deviazione standard (o due deviazioni standard in alcuni casi). $b_1$ $b_1$

Un utente su questo sito ha descritto come "un po 'di confusione", ma non sono del tutto d'accordo. Per prima cosa, potresti usare questa interpretazione per inventare priori informativi nella regressione bayesiana. $\mathrm{Cov}\left(b_1,b_2\right)$

Per quanto riguarda ciò a cui viene effettivamente utilizzato, la risposta di Cliff AB è un buon riassunto.

— shadowtalker
fonte

È carino, ma sono un po 'preoccupato per l'interpretazione della covarianza come se fosse una correlazione. So che conosci la differenza, ma non si vede chiaramente. Sono anche contento che tu abbia contestato il commento "un po 'di confusione", perché quella era una valutazione fuorviante (in una risposta altrimenti eccellente). In effetti, la covarianza di e per fornisce informazioni fondamentali e utili su come tali stime sono correlate, come indica @Cliff AB.

b_{i}

$b_i$

b_{j}

$b_j$

i \neq j

$i\ne j$

— whuber

@whuber grazie, e in realtà ho scritto "correlazione" a un certo punto. Lo pulisco quando

— scendo

Dal momento che potrei non tornare a questo thread per un po ', +1 in anticipo per le modifiche!

— whuber

fatto lo stesso errore nella mia descrizione!

— Cliff AB,

@whuber ora sto indovinando secondo la mia comprensione della covarianza. Il mio problema è solo che non ho enfatizzato il fatto che le scale potrebbero essere diverse o mi sto perdendo qualcos'altro? Mi sono imbattuto nella tua spiegazione delle "scatole" e non vedo cosa potrebbe essere

— Shadowtalker,