Come dividere l'R-quadrato tra le variabili predittive nella regressione multipla?

16

Ho appena letto un articolo in cui gli autori hanno effettuato una regressione multipla con due predittori. Il valore complessivo del r-quadrato era 0,65. Hanno fornito un tavolo che ha diviso il quadratino tra i due predittori. Il tavolo sembrava così:

            rsquared beta    df pvalue
whole model     0.65   NA  2, 9  0.008
predictor 1     0.38 1.01 1, 10  0.002
predictor 2     0.27 0.65 1, 10  0.030

In questo modello, eseguito Rutilizzando il mtcarsset di dati, il valore r-quadrato complessivo è 0,76.

summary(lm(mpg ~ drat + wt, mtcars))

Call:
lm(formula = mpg ~ drat + wt, data = mtcars)

Residuals:
    Min      1Q  Median      3Q     Max 
-5.4159 -2.0452  0.0136  1.7704  6.7466 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   30.290      7.318   4.139 0.000274 ***
drat           1.442      1.459   0.989 0.330854    
wt            -4.783      0.797  -6.001 1.59e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 3.047 on 29 degrees of freedom
Multiple R-squared:  0.7609,    Adjusted R-squared:  0.7444 
F-statistic: 46.14 on 2 and 29 DF,  p-value: 9.761e-10

Come posso dividere il valore r-quadrato tra le due variabili predittive?

— Luciano
fonte

1

Questo post fornisce informazioni su come partizionare

.

R^{2}

$R^{2}$

— COOLSerdash,

8

Questo commento può rappresentare, brevemente e in modo inadeguato, il punto di vista che questo si rivelerà spesso inutile se non pericoloso. Il successo o il fallimento di un modello è meglio considerato come il risultato di uno sforzo di squadra da parte dei predittori (e delle loro particolari forme funzionali, termini di interazione, ecc. Ecc.) E deve essere giudicato come tale. Naturalmente, la maggior parte di noi è interessata all'importanza relativa dei predittori e non è una sciocchezza, ma i tentativi di quantificarlo devono necessariamente essere accompagnati da dichiarazioni complete dei limiti tecnici e filosofici di tale esercizio.

— Nick Cox,

5

Puoi semplicemente ottenere le due correlazioni separate e quadrarle o eseguire due modelli separati e ottenere R ^ 2. Riassumeranno solo se i predittori sono ortogonali.

— John
fonte

2

Per "ortogonale", vuoi dire che i due predittori dovrebbero essere non correlati tra loro?

— luciano,

3

Sì, non correlato ... è l'unico modo in cui si sommano al totale.

— Giovanni

12

Oltre alla risposta di John , potresti voler ottenere le correlazioni semi-parziali quadrate per ciascun predittore.

Predittori non correlati : se i predittori sono ortogonali (cioè non correlati), le correlazioni semi-parziali al quadrato saranno le stesse delle correlazioni al quadrato in ordine zero.
Predittori correlati: se i predittori sono correlati, la correlazione semi-parziale quadrata rappresenterà la varianza unica spiegata da un determinato predittore. In questo caso, la somma delle correlazioni semi-parziali quadrate sarà inferiore a . Questa varianza spiegata rimanente rappresenterà la varianza spiegata da più di una variabile. $R^2$

Se stai cercando una funzione R c'è spcor()nel ppcorpacchetto.

Potresti anche prendere in considerazione l'argomento più ampio della valutazione dell'importanza delle variabili nella regressione multipla (ad esempio, vedi questa pagina sul pacchetto relaimpo ).

— Jeromy Anglim
fonte

3

Ho aggiunto il tag varianza-decomposizione alla tua domanda. Ecco parte del suo tag wiki :

$R^2$ $p!$ $p$

Grömping (2007, The American Statistician ) offre una panoramica e indicazioni sulla letteratura nel contesto della valutazione dell'importanza variabile.

— S. Kolassa - Ripristina Monica
fonte

y ~ a + by ~ b + ay ~ ay ~ a + by ~ by ~ a + by ~ b + a

2^{p}

$2^p$

R^{2}

$R^2$ aab

R^{2}

$R^2$ y~1y~ab

R^{2}

$R^2$ y~by~a+b

2^{p}

$2^p$

2!

$2!$

@ naught101: quasi corretto. Ci sono

2^{p} = \sum_{q = 0}^{p} (\binom{p}{q})

$2^p=\sum_{q=0}^p{p\choose q}$ Modelli (

(\binom{p}{q})

${p\choose q}$ modelli contenenti

q

$q$ fuori da

p

$p$ predittori). Tranne il modello banale (

q = 0

$q=0$ ), si desidera confrontare ciascun modello con

q

$q$ predittori con un altro

q

$q$ sottomodelli diversi, ognuno dei quali arriviamo rimuovendo un predittore, quindi abbiamo

\sum_{q = 1}^{p} q (\binom{p}{q})

$\sum_{q=1}^p q{p\choose q}$ confronti. (Ogni modello appare più volte qui, e in effetti abbiamo più confronti di

2^{p}

$2^p$ models.) And if we have interactions, things become more complicated yet.

— S. Kolassa - Reinstate Monica