I coefficienti standardizzati nella regressione lineare possono essere utilizzati per stimare ?

Sto cercando di interpretare i risultati di un articolo, in cui hanno applicato una regressione multipla per prevedere vari risultati. Tuttavia, i (coefficienti B standardizzati definiti come dove è il dipendente variabile e è un predittore) segnalato non sembra corrispondere : $\beta$ $\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$ $y$ $x_1$ $R^2$

Nonostante di -0,83, -0,29, -0,16, -0,43, 0,25 e -0,29, l' è solo 0,20. $\beta$ $R^2$

Inoltre, i tre predittori: peso, BMI e percentuale di grasso sono multi-collineari, correlati intorno a r = 0,8-0,9 tra loro all'interno dei sessi.

Il valore di plausibile con questi 'o non esiste una relazione diretta tra ' e ? $R^2$ $\beta$ $\beta$ $R^2$

Inoltre, i problemi con i predittori multicollineari potrebbero influenzare la di un quarto predittore (VO2max), che è correlato intorno a r = 0.4 con le tre variabili sopra menzionate? $\beta$

— Sakari Jukarainen
fonte

Cosa è in questo contesto? Un coefficiente beta (regressione standardizzata)? O qualcos'altro? Se è così, allora non puoi davvero dire nulla di tutto ciò che ottieni è un'interpretazione in termini di deviazioni standard. Il fatto che il coefficiente implichi effetti di grandi dimensioni, non implica un valore elevato

β

$\beta$

R^{2}

$R^2$

— Repmat

ß sta per coefficienti b standardizzati. Per un predittore di 1 caso ß è uguale a R di Pearson, che è direttamente correlato a R al quadrato, tuttavia in questo caso multivariato, perché un alto ß non implica un alto R al quadrato?

— Sakari Jukarainen,

No, in un caso di regressore non è uguale alla correlazione di Pearson: . Il rapporto tra s e non è così semplice.

β

$\beta$

β = \frac{Cov (y, x)}{Var (x)} \neq \frac{Cov (y, x)}{\sqrt{Var (y) \times Var (x)}} = ρ (y, x)

$\beta=\frac{\text{Cov}(y,x)}{\text{Var}(x)}\neq\frac{\text{Cov}(y,x)}{ \sqrt{ \text{Var}(y)\times\text{Var}(x) } }=\rho(y,x)$

β

$\beta$

R^{2}

$R^2$

— Richard Hardy,

@RichardHardy Sospetto che la confusione sia che Sakari abbia definito il coefficiente di regressione standardizzato . In una regressione lineare bivariata il coefficiente di regressione ( nella notazione di Sakari) è , dove è la correlazione e la deviazione standard. Per standardizzare un coefficiente di regressione dividiamo il coefficiente con la deviazione standard di e moltiplichiamo per quella deviazione standard di , quindi rimane solo la correlazione. Quindi Sakari ha ragione.

β

$\beta$

b

$b$

r_{x y} \frac{s_{y}}{s_{x}}

$r_{xy}\frac{s_y}{s_x}$

r

$r$

s

$s$

y

$y$

x

$x$

— Maarten Buis,

Non vedo ancora perché ritieni che ciò sia sbagliato? Se ci sono alcune statistiche riassuntive nel documento, puoi semplicemente controllare se i numeri si sommano. Hai anche fornito la formula per farlo. Non si può concludere, semplicemente perché gli effetti sono grandi in termini approssimativi, che i modelli fanno un buon lavoro nel spiegare la varianza in y.

— Repmat

L' interpretazione geometrica della regressione dei minimi quadrati ordinari fornisce la necessaria intuizione.

La maggior parte di ciò che dobbiamo sapere può essere visto nel caso di due regressori e con risposta . I coefficienti standardizzati, o "beta", sorgono quando tutti e tre i vettori sono standardizzati su una lunghezza comune (che possiamo considerare unità). Pertanto, e sono vettori unitari in un piano - si trovano sul cerchio unitario - e è un vettore unitario in uno spazio euclideo tridimensionale contenente quel piano. Il valore adattato è la proiezione ortogonale (perpendicolare) di su . Perché $x_1$ $x_2$ $y$ $x_1$ $x_2$ $E^2$ $y$ $E^3$ $\hat y$ $y$ $E^2$ $R^2$ è semplicemente la lunghezza quadrata di , non è nemmeno necessario visualizzare tutte e tre le dimensioni: tutte le informazioni di cui abbiamo bisogno possono essere disegnate su quel piano. $\hat y$

Regressori ortogonali

La situazione più bella è quando i regressori sono ortogonali, come nella prima figura.

$Figura 1, che mostra i regressori e $ \ hat y $ come vettori in un piano.$

In questo e nel resto delle figure disegnerò costantemente il disco dell'unità in bianco e i regressori come frecce nere. punterà sempre direttamente a destra. Le spesse frecce rosse raffigurano i componenti di nelle direzioni e : ovvero e . La lunghezza di è il raggio del cerchio grigio su cui giace - ma ricorda che è il $x_1$ $\hat y$ $x_1$ $x_2$ $\beta_1 x_1$ $\beta_2 x_2$ $\hat y$ $R^2$ quadrato di quella lunghezza.

Il teorema di Pitagora afferma

R^{2} = | \hat{y} |^{2} = | β_{1} x_{1} |^{2} + | β_{2} x_{2} |^{2} = β_{1}^{2} (1) + β_{2}^{2} (1) = β_{1}^{2} + β_{2}^{2} .

$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$

Poiché il Teorema di Pitagora è valido in qualsiasi numero di dimensioni, questo ragionamento si generalizza a qualsiasi numero di regressori, producendo il nostro primo risultato:

Quando i regressori sono ortogonali, uguale alla somma dei quadrati dei beta. $R^2$

Un corollario immediato è che quando c'è un solo regressore - regressione univariata - è il quadrato della pendenza standardizzata. $R^2$

correlata

I regressori negativamente correlati si incontrano ad angoli maggiori di un angolo retto.

È visivamente evidente in questa immagine che la somma dei quadrati dei beta è strettamente maggiore di . Ciò può essere provato algebricamente usando la Legge dei Coseni o lavorando con la soluzione matriciale delle equazioni normali. $R^2$

Rendendo i due regressori quasi paralleli, possiamo posizionare vicino all'origine (per un vicino a ) mentre continua ad avere componenti di grandi dimensioni nella direzione e . Pertanto, non vi è alcun limite a quanto piccolo possa essere . $\hat y$ $R^2$ $0$ $x_1$ $x_2$ $R^2$

Memorizziamo questo ovvio risultato, la nostra seconda generalità:

Quando i regressori sono correlati, può essere arbitrariamente più piccola della somma dei quadrati dei beta. $R^2$

Tuttavia, questa non è una relazione universale, come dimostra la figura successiva.

Ora supera rigorosamente la somma dei quadrati dei beta. Avvicinando i due regressori e mantenendo tra loro, possiamo far sì che i beta si avvicinino entrambi a , anche quando è vicino a . Un'ulteriore analisi può richiedere un po 'di algebra: la prendo qui sotto. $R^2$ $\hat y$ $1/2$ $R^2$ $1$

Lascio alla tua immaginazione costruire esempi simili con regressori positivamente correlati, che si incontrano quindi ad angoli acuti.

Nota che queste conclusioni sono incomplete: ci sono limiti a quanto meno può essere confrontato con la somma dei quadrati dei beta. In particolare, esaminando attentamente le possibilità, è possibile concludere (per una regressione con due regressori) che $R^2$

Quando i regressori sono positivamente correlati e i beta hanno un segno comune, o quando i regressori sono negativamente correlati e i beta hanno segni diversi, deve essere almeno grande quanto la somma dei quadrati dei beta. $R^2$

Risultati algebrici

In genere, lascia che i regressori siano (vettori di colonna) e la risposta sia . La standardizzazione significa che (a) ognuno è ortogonale al vettore e (b) hanno lunghezze unitarie: $x_1, x_2, \ldots, x_p$ $y$ $(1,1,\ldots,1)^\prime$

| x_{i} |^{2} = | y |^{2} = 1.

$|x_i|^2 = |y|^2 = 1.$

Montare il vettori colonna in un matrice . Le regole della moltiplicazione matriciale implicano questo $x_i$ $n\times p$ $X$

Σ = X^{'} X

$\Sigma = X^\prime X$

è la matrice di correlazione di . I beta sono dati dalle equazioni normali, $x_i$

β = (X^{'} X)^{- 1} X^{'} y = Σ^{- 1} (X^{'} y) .

$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$

Inoltre, per definizione, la misura è

\hat{y} = X β = X (Σ^{- 1} X^{'} y) .

$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$

La sua lunghezza quadrata dà per definizione: $R^2$

R^{2} = | \hat{y} |^{2} = {\hat{y}}^{'} \hat{y} = (X β)^{'} (X β) = β^{'} (X^{'} X) β = β^{'} Σ β .

$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$

L'analisi geometrica ha suggerito di cercare le disuguaglianze relative a e la somma dei quadrati dei beta, $R^2$

\sum_{i = 1}^{p} β_{i}^{2} = β^{'} β .

$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$

La norma di qualsiasi matrice è data dalla somma dei quadrati dei suoi coefficienti (sostanzialmente trattando la matrice come un vettore di componenti in uno spazio euclideo), $L_2$ $A$ $p^2$

| A |_{2}^{2} = \sum_{i, j} a_{i j}^{2} = tr (A^{'} A) = tr (A A^{'}) .

$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$

La disuguaglianza di Cauchy-Schwarz implica

R^{2} = tr (R^{2}) = tr (β^{'} Σ β) = tr (Σ β β^{'}) \leq | Σ |_{2} | β β^{'} |_{2} = | Σ |_{2} β^{'} β .

$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$

Poiché i coefficienti di correlazione al quadrato non possono superare e ce ne sono solo nella matrice , non possono superare . Perciò $1$ $p^2$ $p\times p$ $\Sigma$ $|\Sigma|_2$ $\sqrt{1\times p^2} = p$

R^{2} \leq p β^{'} β .

$R^2 \le p\, \beta^\prime \beta.$

La disuguaglianza si ottiene, ad esempio, quando tutti gli sono perfettamente correlati positivamente. $x_i$

C'è un limite superiore alla grandezza di . Il suo valore medio per regressore, , non può superare la somma dei quadrati dei coefficienti standardizzati. $R^2$ $R^2/p$

conclusioni

Cosa possiamo concludere in generale? Evidentemente, le informazioni sulla struttura di correlazione dei regressori così come i segni dei beta potrebbero essere usate sia per legare i possibili valori di o addirittura per calcolarli esattamente. In assenza di informazioni complete, poco si può dire al di là dell'ovvio fatto che quando i regressori sono linearmente indipendenti, un singolo beta diverso da zero implica che è diverso da zero, dimostrando che è diverso da zero. $R^2$ $\hat y$ $R^2$

Una cosa che possiamo sicuramente concludere dall'output nella domanda è che i dati sono correlati: poiché la somma dei quadrati delle beta, pari a , supera il valore massimo possibile di (ovvero ), ci devono essere alcuni correlazione. $1.1301$ $R^2$ $1$

Un'altra cosa è che, poiché la beta più grande (in termini di dimensioni) è , il cui quadrato è molto superiore a di - possiamo concludere che alcuni dei regressori devono essere correlati negativamente. (In effetti, è probabilmente fortemente correlato negativamente con età, peso e grasso in qualsiasi campione che copre una vasta gamma di valori di quest'ultimo.) $-0.83$ $0.69$ $R^2$ $0.20$ $\text{VO}_{2\,\text{max}}$

Se ci fossero solo due regressori, potremmo dedurre molto di più su dalla conoscenza delle correlazioni dei regressori elevati e dall'ispezione dei beta, perché ciò ci consentirebbe di disegnare uno schizzo accurato di come , e deve essere situato. Sfortunatamente, i regressori aggiuntivi in questo problema a sei variabili complicano notevolmente le cose. Nell'analizzare due variabili qualsiasi, dobbiamo "estrarre" o "controllare" gli altri quattro regressori (le "covariate"). In tal modo, abbreviamo tutti , e $R^2$ $x_1$ $x_2$ $\hat y$ $x_1$ $x_2$ $y$ da quantità sconosciute (a seconda di come tutte e tre queste siano correlate alle covariate), lasciandoci senza sapere quasi nulla delle dimensioni effettive dei vettori con cui stiamo lavorando.

— whuber
fonte

+1 ma non capisco perché, nel caso non ortogonale, si proietta vettore ortogonale agli assi del predittore, anziché fare in modo che le linee tratteggiate sporgenti siano parallele all'altro predittore. Sembra ingombrante ma penso che capirai cosa intendo. Le tue "proiezioni" (due vettori rossi più piccoli) non sono all'altezza per ottenere il grande vettore rosso .

\hat{y}

$\hat y$

\hat{y}

$\hat y$

— amoeba,

@amoeba Hai ragione. Sono stato troppo frettoloso nel creare queste immagini! Eliminerò (si spera temporaneamente) questo post fino a quando non avrò l'opportunità di correggere il problema. Grazie per averlo sottolineato.

— whuber

@Amoeba Ho corretto le immagini e modificato l'analisi per abbinarle. Sebbene i dettagli siano cambiati sostanzialmente, le conclusioni rimangono le stesse.

— whuber

@amoeba Ancora una volta hai ragione. A un certo rischio di perdere i lettori interessati, ma ora mi sento obbligato a quantificare l'intuizione geometrica, ho stretto questa conclusione e l'ho giustificata con un po 'di algebra. (Confido che l'algebra sia corretta!)

— whuber

Molte grazie! Come sidenote, VO2max è negativamente correlato con il peso e l'IMC, poiché sono associati a una maggiore massa corporea magra. In detta tabella VO2max corrisponde effettivamente a VO2max diviso per peso (che è un cattivo modo di ridimensionare VO2max in base alle dimensioni del corpo). Il VO2max / peso nella tabella è correlato negativamente con tutti gli altri predittori, ad eccezione del sesso, che potrebbe spiegare l'alto ß ma il basso R-quadrato, come hai detto.

— Sakari Jukarainen,