Significato del coefficiente di correlazione medio

Disclaimer: se ritieni che questa domanda sia troppo simile a un'altra, sono felice che si fonda. Tuttavia, non ho trovato una risposta soddisfacente da nessun'altra parte (e non ho ancora la "reputazione" di commentare o votare), quindi ho pensato che sarebbe meglio porre una nuova domanda da solo.

La mia domanda è questa Per ciascuno dei 12 soggetti umani, ho calcolato un coefficiente di correlazione (Spearman's rho) tra 6 livelli di una variabile indipendente X e osservazioni corrispondenti di una variabile dipendente Y. (Nota: i livelli di X non sono uguali tra i soggetti.) Mio l'ipotesi nulla è che nella popolazione generale questa correlazione sia uguale a zero. Ho testato questa ipotesi in due modi:

Utilizzando un test t di un campione sui coefficienti di correlazione ottenuti dai miei 12 soggetti.
Centrando i miei livelli di X e le osservazioni di Y in modo tale che per ciascun partecipante, media (X) = 0 e media (Y) = 0, e quindi calcolando una correlazione sui dati aggregati (72 livelli di X e 72 osservazioni di Y) .

Ora, dalla lettura del lavoro con i coefficienti di correlazione (qui e altrove) ho iniziato a dubitare che il primo approccio sia valido. In particolare, ho visto la seguente equazione apparire in diversi punti, presentata (apparentemente) come un test t per i coefficienti di corelazione medi:

t = \frac{r}{S E_{r}} = \frac{\sqrt{n - 2}}{\sqrt{1 - r^{2}}}

$t = \frac{r}{SE_{r}} = \frac{\sqrt{n-2}}{\sqrt{1-r^{2}}}$

dove sarebbe il coefficiente di correlazione medio (e supponiamo di averlo ottenuto utilizzando prima la trasformazione di Fisher sui coefficienti per soggetto) e il numero di osservazioni. Intuitivamente, questo mi sembra sbagliato in quanto non include alcuna misura della variabilità tra soggetti. In altre parole, se avessi 3 coefficienti di correlazione, otterrei la stessa statistica t se fossero [0,1, 0,5, 0,9] o [0,45 0,5 0,55] o qualsiasi intervallo di valori con la stessa media (e ) $r$ $n$ $n=3$

Sospetto, pertanto, che l'equazione di cui sopra non si applichi in realtà quando si verifica la significatività di una media dei coefficienti di correlazione, ma quando si verifica la significatività di un singolo coefficiente di correlazione basato su osservazioni di 2 variabili. $n$

Qualcuno qui potrebbe confermare questa intuizione o spiegare perché è sbagliato? Inoltre, se questa formula non si applica al mio caso, qualcuno conosce un approccio corretto? O forse il mio test numero 2 è già valido? Qualsiasi aiuto è molto apprezzato (compresi i suggerimenti per le risposte precedenti che potrei aver perso o interpretato male).

correlation statistical-significance fisher-transform

— Ruben van Bergen
fonte

di Pearson è insensibile alle trasformazioni di centratura e ridimensionamento, quindi penso che la centratura sia irrilevante per la tua domanda. Ad esempio, cor (

) = cor (

r

$r$

X, Y

$X,Y$

X, Y - \bar{Y}

$X,Y-\bar{Y}$

X, Y + 1000

$X,Y+1000$

X, Y \times 1000

$X,Y\times 1000$

— Alexis,

Sono d'accordo con te. Ecco perché ho interpretato la centratura come "centrare ciascuna variabile separatamente prima di metterle insieme".

— Federico Tedeschi,

@FedericoTedeschi Non "centrare ciascuna variabile separatamente prima di metterle insieme" cosa significa

Y - \bar{Y}

$Y-\bar{Y}$

— Alexis,

@Alexis ti ho risposto in fondo alla mia risposta (sarebbe stato troppo lungo per scriverlo in un commento, e avrei anche dovuto correggerlo più volte a causa del problema WYSINWYG).

— Federico Tedeschi,

Risposte:

Un approccio migliore all'analisi di questi dati consiste nell'utilizzare un modello misto (alias modello a effetti misti, modello gerarchico) con subjectcome effetto casuale (intercetta casuale o intercetta casuale + pendenza). Per riassumere una mia diversa risposta :

Questa è essenzialmente una regressione che modella una singola relazione complessiva, pur consentendo a tale relazione di differire tra i gruppi (i soggetti umani). Questo approccio beneficia del pool parziale e utilizza i dati in modo più efficiente.

— mkt - Ripristina Monica
fonte

-1

Suppongo che le variabili ( e ) siano uguali per tutti gli individui (in realtà non sono sicuro di capire cosa intendi dicendo che i livelli non sono uguali tra i soggetti: spero che tu lo sia riferendosi all'indipendenza tra gli intervalli delle variabili, non a quali variabili vengono misurate per ciascun individuo). Sì, la formula che hai mostrato si applica al coefficiente di correlazione tra due variabili. $12$ $6$ $X$ $6$ $Y$

Nel tuo punto 2, parli di normalizzazione: penso che avrebbe senso se lo facessi per ciascuna delle variabili separatamente. Tuttavia, anche così, il problema con questo approccio è che non controlla la dipendenza all'interno dell'individuo. $6*2$

Credo che anche il tuo approccio 1 non sia valido, perché sarebbe un test tra variabili con distribuzione con soli gradi di libertà, quindi non penso che in questo caso tu possa applicare il Teorema del limite centrale. $6$ $t$ $10$

Forse, con numeri più grandi, potresti usare un approccio a effetto casuale, consentendo una pendenza casuale e testando contemporaneamente sia un coefficiente medio nullo (di su ) sia la non esistenza di un coefficiente casuale. Credo comunque che 6 variabili e 12 osservazioni non siano sufficienti per farlo. $X_i$ $Y_i$

Ti suggerisco di vederlo come un test su 6 valori (diventando 12 se consideri anche valori al di sotto della diagonale) della matrice di correlazione tra le variabili (sia che ), cioè quelle sulla diagonale del 2 ° (e equivalentemente del 3 °) quadrante. Pertanto, farei un test del rapporto di verosimiglianza tra il modello limitato e quello non limitato. $12$ $X$ $Y$

@Alexis La mia comprensione è che centrando , , sostituendoli con $X_1, \dots, X_6$ $Y_1, \dots, Y_6$ avrebbe senso (penso che avrebbe anche senso dividerli per i loro). In questo modo, le variabilie(create considerandocome se fossero occorrenze di una variabile unica, e lo stesso per ) avrebbero tutte unamedia. Al contrario, se costruiamo prima due variabili(create considerando la $X_1^*=X_1-\bar{X_1}, \dots, X_6^*=X_6-\bar{X_6}, Y_1^*=Y_1-\bar{Y_1}, \dots, Y_6^*=Y_6-\bar{Y_6}$ $SE$ $X^*$ $Y^*$ $X_i^*, 1 \leq i \leq 6$ $Y_i^*$ $0$ $X, Y$ come se fossero occorrenze di una variabile unica, e lo stesso per ), quindi sottrarre la media (e anche dividendo per SE di e ) non cambierebbe le cose. $X_i, 1 \leq i \leq 6$ $Y_i$ $X$ $Y$

MODIFICA 01/01/18

Permettetemi indico la variabile e ( ) dell'individuo. Quindi, supponiamo di avere: $i$ $j$ $1\leq j\leq 12$

; $X_{1j}=Y_{1j}=10, \forall j$

; $X_{2j}=Y_{2j}=8, \forall j$

; $X_{3j}=Y_{3j}=6, \forall j$

; $X_{4j}=Y_{4j}=4, \forall j$

; $X_{5j}=Y_{5j}=2, \forall j$

. $X_{6j}=-Y_{6j}=j, \forall j$

La correlazione in questo caso dovrebbe essere . $0.5428$

Se centriamo ogni variabile, dato che, per , sia che non hanno alcuna variazione, abbiamo: . Per quanto riguarda , otteniamo i valori $1 \leq i \leq 5$ $X_i$ $Y_i$ $X_{ij}^*=Y_{ij}^*=0$ $i=6$ (cioè, per le : e esattamente l'opposto per le ) . Poiché e , otteniamo: $X_{6j}^*=j-6.5, Y_{j6}^*=(13-j)-6.5=6.5-j$ $X$ $-5.5, -4.5, -3.5, -2.5, -1.5, -0.5, 0.5, 1.5, 2.5, 3.5, 4.5, 5.5$ $Y$ $0=-0$ $j-6.5=-(6.5-j)$ , implicando una correlazione di. $X_{ij}^*=-Y_{ij}^* \forall i,j \rightarrow X^*=-Y^*$ $-1$

— Federico Tedeschi
fonte

Sono d'accordo con te, se seguiamo la seconda procedura. Ecco perché credo che Ruben van Bergen intendesse ciò che ho descritto nella prima procedura. In questo caso, abbiamo che:

, ma

c o r (X_{i}, Y_{i}) = c o r (X_{i}^{*}, Y_{i}^{*}), \forall i

$cor(X_i,Y_i)=cor(X_i^*,Y_i^*), \forall i$

c o r (X, Y) = c o r (X^{*}, Y^{*})

$cor(X,Y)=cor(X^*,Y^*)$ non è generalmente vero. Sto modificando il mio post per mostrare un contro-esempio.

— Federico Tedeschi,

I valori che danno una correlazione di

sono:

0.5428

$0.5428$

;

X = 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12

$X=10,10,10,10,10,10,10,10,10,10,10,10,8,8,8,8,8,8,8,8,8,8,8,8,6,6,6,6,6,6,6,6,6,6,6,6,4,4,4,4,4,4,4,4,4,4,4,4,2,2,2,2,2,2,2,2,2,2,2,2,1,2,3,4,5,6,7,8,9,10,11,12$

. Non importa se la correlazione è davvero

Y = 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1

$Y=10,10,10,10,10,10,10,10,10,10,10,8,8,8,8,8,8,8,8,8,8,8,8,6,6,6,6,6,6,6,6,6,6,6,6,4,4,4,4,4,4,4,4,4,4,4,4,2,2,2,2,2,2,2,2,2,2,2,2,12,11,10,9,8,7,6,5,4,3,2,1$

0.5428

$0.5428$ , poiché è chiaramente diverso da

- 1

$-1$

— Federico Tedeschi,

La correlazione tra

X^{*} = 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, - 5.5, - 4.5, - 3.5, - 2.5, - 1.5, - 0.5, 0.5, 1.5, 2.5, 3.5, 4.5, 5.5

$X^*=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,-5.5,-4.5,-3.5,-2.5,-1.5,-0.5,0.5,1.5,2.5,3.5,4.5,5.5$

. Il fatto che tu dica che

porta a

è vero, ma solo questo significa che

X^{*} = 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5.5, 4.5, 3.5, 2.5, 1.5, 0.5, - 0.5, - 1.5, - 2.5, - 3.5, - 4.5, - 5.5

$X^*=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,5.5,4.5,3.5,2.5,1.5,0.5,-0.5,-1.5,-2.5,-3.5,-4.5,-5.5$

- 1

$-1$

X = 1, \dots, 12

$X=1,\dots, 12$

Y = 12, \dots, 1

$Y=12, \dots, 1$

c o r (X, Y) = c o r (X^{*}, Y^{*}) = - 1

$cor(X,Y)=cor(X^*,Y^*)=-1$

, è qualcosa che ho già scritto.

c o r (X_{i}, Y_{i}) = c o r (X_{i}^{*}, Y_{i}^{*})

$cor(X_i,Y_i)=cor(X^*_i,Y^*_i)$

— Federico Tedeschi,

Naturalmente

: questa è una conseguenza dell'invarianza della correlazione con le trasformazioni lineari. Questo è qualcosa che ho già concordato nel mio primo commento, "Sono d'accordo con te. Ecco perché ho interpretato la centratura come" centrare ciascuna variabile separatamente prima di metterle insieme "." - Federico Tedeschi, 27 dic. 1717 alle 10:27

c o r (X; Y) = c o r (X - \bar{X}; Y - \bar{Y})

$cor(X;Y)=cor(X-\bar{X};Y-\bar{Y})$

— Federico Tedeschi il

Forse non capisco cosa significhi "centrare ciascuna variabile separatamente prima di metterle insieme". Per me,

significa

sta "centrando ciascuna variabile separatamente prima di metterle insieme". Potete aiutarmi a capire la nostra apparente diversa comprensione?

X - \bar{X}

$X - \bar{X}$

X_{1} - \bar{X}, X_{2} - \bar{X}, \dots, X_{n} - \bar{X}

$X_{1} - \bar{X}, X_{2}-\bar{X},\dots, X_{n}-\bar{X}$

— Alexis,