Regressione multipla o coefficiente di correlazione parziale? E i rapporti tra i due

Non so nemmeno se questa domanda abbia un senso, ma qual è la differenza tra regressione multipla e correlazione parziale (a parte le ovvie differenze tra correlazione e regressione, che non è ciò a cui sto puntando)?

Voglio capire quanto segue:
ho due variabili indipendenti ( , ) e una variabile dipendente ( ). Ora individualmente le variabili indipendenti non sono correlate con la variabile dipendente. Ma per un dato diminuisce quando diminuisce . Quindi lo analizzo per mezzo di regressione multipla o correlazione parziale ? $x_1$ $x_2$ $y$ $x_1$ $y$ $x_2$

modifica per migliorare la mia domanda: sto cercando di capire la differenza tra regressione multipla e correlazione parziale. Quindi, quando $y$ diminuisce per un dato $x_1$ quando diminuisce $x_2$ , ciò è dovuto all'effetto combinato di $x_1$ e $x_2$ su $y$ (regressione multipla) o è dovuto alla rimozione dell'effetto di $x_1$ (correlazione parziale)?

multiple-regression regression-coefficients partial-correlation

— user34927
fonte

Qual è la domanda sostanziale a cui stai cercando di rispondere?

— gung - Ripristina Monica

Vedi anche domanda molto simile stats.stackexchange.com/q/50156/3277 .

— ttnphns,

Il coefficiente di regressione lineare multipla e la correlazione parziale sono direttamente collegati e hanno lo stesso significato (valore p). La r parziale è solo un altro modo di standardizzare il coefficiente, insieme al coefficiente beta (coefficiente di regressione standardizzato) . Quindi, se la variabile dipendente è e gli indipendenti sono e allora $^1$ $y$ $x_1$ $x_2$

Beta: β_{x_{1}} = \frac{r_{y x_{1}} - r_{y x_{2}} r_{x_{1} x_{2}}}{1 - r_{x_{1} x_{2}}^{2}}

$\text{Beta:} \quad \beta_{x_1} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{1-r_{x_1x_2}^2}$

Partial r: r_{y x_{1} . x_{2}} = \frac{r_{y x_{1}} - r_{y x_{2}} r_{x_{1} x_{2}}}{\sqrt{(1 - r_{y x_{2}}^{2}) (1 - r_{x_{1} x_{2}}^{2})}}

$\text{Partial r:} \quad r_{yx_1.x_2} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{\sqrt{ (1-r_{yx_2}^2)(1-r_{x_1x_2}^2) }}$

Vedete che i numeratori sono gli stessi che indicano che entrambe le formule misurano lo stesso effetto unico di . Proverò a spiegare come le due formule siano strutturalmente identiche e come non lo siano. $x_1$

Supponiamo di avere standardizzato z (media 0, varianza 1) tutte e tre le variabili. Il numeratore è quindi uguale alla covarianza tra due tipi di residui : i residui (a) lasciati nella previsione di per [entrambe le variabili standard] e i residui (b) lasciati nella previsione di per [entrambe le variabili standard] . Inoltre, la varianza dei residui (a) è ; la varianza dei residui (b) è . $y$ $x_2$ $x_1$ $x_2$ $1-r_{yx_2}^2$ $1-r_{x_1x_2}^2$

La formula per la correlazione parziale appare quindi chiaramente la formula del semplice Pearson , come calcolata in questo caso tra residui (a) e residui (b): Pearson , lo sappiamo, è covarianza divisa per il denominatore che è la media geometrica di due diverse varianti. $r$ $r$

Il coefficiente standardizzato beta è strutturalmente come Pearson , solo che il denominatore è la media geometrica di una varianza con il proprio io . La varianza dei residui (a) non è stata conteggiata; è stato sostituito dal secondo conteggio della varianza dei residui (b). Beta è quindi la covarianza dei due residui relativa alla varianza di uno di essi (in particolare, quello relativo al predittore di interesse, ). Mentre la correlazione parziale, come già notato, è quella stessa covarianza rispetto alla loro varianza ibrida . Entrambi i tipi di coefficiente sono modi per standardizzare l'effetto di nell'ambiente di altri predittori. $r$ $x_1$ $x_1$

Alcune conseguenze numeriche della differenza. Se il quadrato R di regressione multipla di per e risulta essere 1, entrambe le correlazioni parziali dei predittori con il dipendente avranno anche 1 valore assoluto (ma i beta non saranno generalmente 1). In effetti, come detto prima, è la correlazione tra i residui di e i residui di . Se ciò che non è in è esattamente ciò che non è in $y$ $x_1$ $x_2$ $r_{yx_1.x_2}$ y <- x2x1 <- x2 $x_2$ $y$ $x_2$ $x_1$ allora non c'è nulla in che non sia né né : adattamento completo. Qualunque sia la quantità della porzione inspiegabile (per ) rimasta in ( ), se viene catturata in modo relativamente elevato dalla porzione indipendente di (per ), sarà alto. $y$ $x_1$ $x_2$ $x_2$ $y$ $1-r_{yx_2}^2$ $x_1$ $1-r_{x_1x_2}^2$ $r_{yx_1.x_2}$ $\beta_{x_1}$ d'altra parte, sarà elevato solo a condizione che la porzione inspiegabile catturata di sia essa stessa una porzione sostanziale di . $y$ $y$

Dalle formule di cui sopra si ottiene (ed estendentesi dalla regressione 2-predittore di una regressione con numero arbitrario di predittori ) La formula di conversione tra beta e corrispondente r parziale: $x_1,x_2,x_3,...$

r_{y x_{1} . X} = β_{x_{1}} \sqrt{\frac{var (e_{x_{1} \leftarrow X})}{var (e_{y \leftarrow X})}},

$r_{yx_1.X} = \beta_{x_1} \sqrt{ \frac {\text{var} (e_{x_1 \leftarrow X})} {\text{var} (e_{y \leftarrow X})}},$

dove sta per la raccolta di tutti i predittori tranne l'attuale ( ); sono i residui della regressione di di , ed sono i residui della regressione di di , le variabili in entrambe queste regressioni li inseriscono standardizzate . $X$ $x_1$ $e_{y \leftarrow X}$ $y$ $X$ $e_{x_1 \leftarrow X}$ $x_1$ $X$

Nota: se abbiamo bisogno di calcolare correlazioni parziali di con ogni predittore solito non useremo questa formula che richiede di fare due ulteriori regressioni. Piuttosto, verranno eseguite le operazioni di sweep (spesso utilizzate negli algoritmi di regressione graduale e di tutti i sottoinsiemi) o verrà calcolata la matrice di correlazione anti-immagine . $y$ $x$

$^1$ è la relazione tra ilgrezzoe icoefficientistandardizzatiin regressione con intercetta. $\beta_{x_1} = b_{x_1} \frac {\sigma_{x_1}}{\sigma_y}$ $b$ $\beta$

— ttnphns
fonte

Grazie. Ma come faccio a decidere quale scegliere, ad esempio per lo scopo descritto nella mia domanda?

— user34927

Ovviamente, sei libero di scegliere: i numeratori sono gli stessi, quindi trasmettono le stesse informazioni. Per quanto riguarda la tua domanda (non completamente chiarita), sembra che si tratti di argomenti "può regr. Coef. Essere 0 quando r non è 0"; "può regr. coef. non essere 0 quando r è 0". Ci sono molte domande a riguardo sul sito. Ad esempio, potresti leggere stats.stackexchange.com/q/14234/3277 ; stats.stackexchange.com/q/44279/3277 .

— ttnphns,

Ho cercato di chiarire la mia domanda ..

— user34927

Correzione di X1 ("x1 dato") = rimozione (controllo) dell'effetto di X1. Non esiste una cosa come "effetto combinato" nella regressione multipla (a meno che non si aggiunga l'interazione X1 * X2). Gli effetti nella regressione multipla sono competitivi. Gli effetti di regressione lineare sono in realtà correlazioni parziali.

— ttnphns,

Aspetta un po ', @ user34927.

to prove that the DV (Y) is significantly correlated with one of two IVs (X1) if the effect of the other IV (X2) is removed

L'effetto rimosso da dove ? Se "rimuovi" X2 da Y e X1, allora il corr. tra Y e X1 è la correlazione parziale . Se "rimuovi" X2 solo da X1, allora il corr. tra Y e X1 è chiamata la parte (o semi-parziale) correlazione. Eri davvero chiedendo circa esso ?

— ttnphns,

Ho appena incontrato questo passo per caso. Nella risposta originale, nella formula per il fattore $\beta_{x_1}$ Manca , ovvero $\sqrt{SSY/SSX_1}$

β_{x_{1}} = \frac{r_{y x_{1}} - r_{y x_{2}} r_{x_{1} x_{2}}}{1 - r_{x_{1} x_{2}}^{2}} \times \sqrt{\frac{S S Y}{S S X_{1}}},

$\beta_{x_1} = \frac{r_{yx_1} - r_{y x_2} ~r_{x_1 x_2}} {1-r^2_{x_1 x_2}} \times \sqrt{\frac{SSY}{SSX_1}},$ where

S S Y = \sum_{i} (y_{i} - \bar{y})^{2}

$SSY=\sum_i (y_i-\bar y)^2$ and

S S X_{1} = \sum_{i} (x_{1 i} - {\bar{x}}_{1})^{2}

$SSX_1 = \sum_i {(x_{1i} - \bar{x}_1)^2}$ .

— Brani
fonte

You are giving the formula of

b

$b$ . My answer was about

β

$\beta$ .

— ttnphns