Qual è la relazione tra ortogonale, correlazione e indipendenza?

Ho letto un articolo in cui si afferma che quando si usano contrasti pianificati per trovare mezzi diversi in un modo ANOVA, i costrutti dovrebbero essere ortogonali in modo da non essere correlati e impedire che l'errore di tipo I venga gonfiato.

Non capisco perché ortogonale significherebbe non correlato in nessuna circostanza. Non riesco a trovare una spiegazione visiva / intuitiva di ciò, quindi ho cercato di capire questi articoli / risposte

https://www.psych.umn.edu/faculty/waller/classes/FA2010/Readings/rodgers.pdf

Cosa significa ortogonale nel contesto statistico?

ma per me si contraddicono a vicenda. Il primo afferma che se due variabili non sono correlate e / o ortogonali, allora sono linearmente indipendenti, ma il fatto che siano linearmente indipendenti non implica che siano non correlate e / o ortogonali.

Ora sul secondo link ci sono risposte che affermano cose come "ortogonale significa non correlato" e "Se X e Y sono indipendenti, allora sono ortogonali. Ma il contrario non è vero".

Un altro commento interessante nel secondo collegamento afferma che il coefficiente di correlazione tra due variabili è uguale al coseno dell'angolo tra i due vettori corrispondenti a queste variabili, il che implica che due vettori ortogonali sono completamente non correlati (che non è quello che il primo articolo sinistri).

Quindi qual è la vera relazione tra indipendenza, ortogonale e correlazione? Forse ho perso qualcosa ma non riesco a scoprire di cosa si tratta.

correlation independence

— Carl Levasseur
fonte

Nessuna delle risposte alle domande che appaiono come "collegate" e "correlate" a destra di questa domanda ti soddisfa?

— Dilip Sarwate,

I due link che ho fornito sembrano fornire risposte solide ma affermano cose diverse e, quando guardo le domande correlate, vedo che le persone che danno risposte sono lungi dall'essere d'accordo tra loro

— Carl Levasseur,

La confusione / contraddizione percepita potrebbe essere interamente dovuta alla differenza tra indipendenza lineare e indipendenza statistica.

— jona,

Penso che i costrutti (ANOVA) dovrebbero essere ortogonali è un aspetto vitale di questa domanda: non si tratta solo di variabili casuali. Vi è anche un'enfasi aggiuntiva sulla "indipendenza" rispetto alla domanda strettamente correlata che Xian ha suggerito come possibile duplicato (in quella domanda il PO ha dichiarato di aver compreso l '"indipendenza" in modo che fosse ampiamente dato per scontato nelle risposte). Quindi suggerisco che non è un duplicato, e secondo @jona che la confusione potrebbe benissimo essere racchiusa nei molteplici significati di "indipendenza".

— Silverfish,

Credo anche che questo non sia un duplicato. Questa domanda non si riferisce alla correlazione e la risposta non specifica la possibile differenza tra ortogonalità e non correlazione. Inoltre, come sottolineato dal poster, ci sono risposte contraddittorie date a diverse domande correlate.

— A. Donda,

Risposte:

L'indipendenza è un concetto statistico. Due variabili casuali e sono statisticamente indipendenti se la loro distribuzione congiunta è il prodotto delle distribuzioni marginali, cioè se ogni variabile ha una densità , o più in generale dove indica la funzione di distribuzione cumulativa di ciascuna variabile casuale. $X$ $Y$

f (x, y) = f (x) f (y)

$f(x, y) = f(x) f(y)$

f

$f$

F (x, y) = F (x) F (y)

$F(x, y) = F(x) F(y)$

F

$F$

La correlazione è un concetto statistico più debole ma correlato. La correlazione (Pearson) di due variabili casuali è l'aspettativa del prodotto delle variabili standardizzate, ovvero Le variabili non sono correlate se . Si può dimostrare che due variabili casuali indipendenti sono necessariamente non correlate, ma non viceversa.

ρ = E [\frac{X - E [X]}{\sqrt{E [(X - E [X])^{2}]}} \frac{Y - E [Y]}{\sqrt{E [(Y - E [Y])^{2}]}}] .

$\newcommand{\E}{\mathbf E} \rho = \E \left [ \frac{X - \E[X]}{\sqrt{\E[(X - \E[X])^2]}} \frac{Y - \E[Y]}{\sqrt{\E[(Y - \E[Y])^2]}} \right ].$

ρ = 0

$\rho = 0$

L'ortogonalità è un concetto che ha avuto origine in geometria ed è stato generalizzato in algebra lineare e campi correlati della matematica. Nell'algebra lineare, l'ortogonalità di due vettori e è definita negli spazi interni del prodotto , ovvero gli spazi vettoriali con un prodotto interno , come condizione che Il prodotto interno può essere definito in diversi modi (risultando in diversi spazi interni del prodotto). Se i vettori sono indicati sotto forma di sequenze di numeri, , una scelta tipica è il prodotto punto , $u$ $v$ $\langle u, v \rangle$

⟨ u, v ⟩ = 0.

$\langle u, v \rangle = 0.$

u = (u_{1}, u_{2}, \dots u_{n})

$u = (u_1, u_2, \ldots u_n)$

⟨ u, v ⟩ = \sum_{i = 1}^{n} u_{i} v_{i}

$\langle u, v \rangle = \sum_{i = 1}^n u_i v_i$ .

L'ortogonalità non è quindi un concetto statistico di per sé e la confusione che si osserva è probabilmente dovuta a diverse traduzioni del concetto di algebra lineare in statistica:

a) Formalmente, uno spazio di variabili casuali può essere considerato come uno spazio vettoriale. È quindi possibile definire un prodotto interno in quello spazio, in diversi modi. Una scelta comune è definirla come covarianza: Poiché la correlazione di due variabili casuali è zero esattamente se la covarianza è zero, secondo questa definizione l' incorrelazione è la stessa dell'ortogonalità. (Un'altra possibilità è definire il prodotto interno di variabili casuali semplicemente come l' aspettativa del prodotto .)

⟨ X, Y ⟩ = c o v (X, Y) = E [(X - E [X]) (Y - E [Y])] .

$\langle X, Y \rangle = \mathrm{cov} (X, Y) = \E [ (X - \E[X]) (Y - \E[Y]) ].$

b) Non tutte le variabili che consideriamo nelle statistiche sono variabili casuali. Soprattutto nella regressione lineare, abbiamo variabili indipendenti che non sono considerate casuali ma predefinite. Le variabili indipendenti sono generalmente fornite come sequenze di numeri, per le quali l'ortogonalità è definita naturalmente dal prodotto punto (vedi sopra). Possiamo quindi studiare le conseguenze statistiche dei modelli di regressione in cui le variabili indipendenti sono o non sono ortogonali. In questo contesto, l'ortogonalità non ha una definizione specificamente statistica, e ancora di più: non si applica alle variabili casuali.

Aggiunta che risponde al commento di Silverfish: l' ortogonalità non è rilevante solo rispetto ai regressori originali, ma anche rispetto ai contrasti, perché (insiemi di) contrasti semplici (specificati da vettori di contrasto) possono essere visti come trasformazioni della matrice del design, ovvero l'insieme di variabili indipendenti, in un nuovo set di variabili indipendenti. L'ortogonalità per i contrasti è definita tramite il prodotto punto. Se i regressori originali sono reciprocamente ortogonali e si applicano contrasti ortogonali, anche i nuovi regressori sono reciprocamente ortogonali. Ciò garantisce che l'insieme di contrasti possa essere visto come una descrizione della decomposizione della varianza, ad esempio in effetti e interazioni principali, l'idea alla base di ANOVA .

Poiché secondo la variante a), non correlazione e ortogonalità sono solo nomi diversi per la stessa cosa, secondo me è meglio evitare di usare il termine in quel senso. Se vogliamo parlare di non correlazione di variabili casuali, diciamo così e non compliciamo le cose usando un'altra parola con uno sfondo diverso e implicazioni diverse. Ciò libera anche il termine ortogonalità da utilizzare secondo la variante b), che è molto utile soprattutto nel discutere la regressione multipla. E viceversa, dovremmo evitare di applicare il termine correlazione a variabili indipendenti, poiché non sono variabili casuali.

La presentazione di Rodgers et al. È in gran parte in linea con questa visione, soprattutto perché comprendono che l'ortogonalità è distinta dall'incorrelazione. Tuttavia, applicano il termine correlazione a variabili non casuali (sequenze di numeri). Ciò ha senso statisticamente solo rispetto al coefficiente di correlazione del campione . Consiglierei comunque di evitare questo uso del termine, a meno che la sequenza numerica non sia considerata come una sequenza di realizzazioni di una variabile casuale. $r$

Ho sparso collegamenti alle risposte alle due domande correlate in tutto il testo sopra, che dovrebbe aiutarti a inserirle nel contesto di questa risposta.

— A. Donda
fonte

+1 Le distinzioni che fai qui sono molto chiare e utili - Mi è piaciuto leggere l'intero post.

— whuber

+1 Mi è piaciuto come hai intrecciato le altre risposte che altrimenti potrebbero sembrare contraddittorie. Forse in parte (b) sarebbe bello menzionare qualcosa in particolare sul design sperimentale o ANOVA (dal momento che è stato menzionato nella domanda del PO) - non è immediatamente ovvio, nel contesto della tua risposta, perché "l'ortogonalità" potrebbe essere interessante o in effetti proprietà desiderabile di una variabile indipendente.

— Silverfish

@Silverfish, hai ragione, proverò ad aggiungerlo.

— A. Donda,

Mi permetto di dissentire dai commenti elogiativi di Whuber. La definizione di indipendenza è terribile: sembra implicare che le variabili casuali e abbiano la stessa funzione di distribuzione cumulativa della probabilità (CDF o cdf) che è qui indicata con . E non, e non indicano i diversi CDF di e . è un valori reali funzione di variabile reale, e e indicano i valori di questa funzione ai numeri e

X

$X$

Y

$Y$

F (\cdot)

$F(\cdot)$

F (x)

$F(x)$

F (y)

$F(y)$

X

$X$

Y

$Y$

F (\cdot)

$F(\cdot)$

F (x)

$F(x)$

F (y)

$F(y)$

x

$x$

y

$y$ . La frase corretta sarebbe

F_{X, Y} (x, y) = F_{X} (x) F_{Y} (y) for all x and y, - \infty < x, y < \infty .

$F_{X,Y}(x,y) = F_X(x)F_Y(y)~\text{for all}~ x~\text{and}~y, -\infty < x,y < \infty.$

— Dilip Sarwate,

@DilipSarwate, puh-lease ...

— A. Donda,

Ecco la mia visione intuitiva: affermare che xey non sono correlati / ortogonali sono entrambi modi di dire che la conoscenza del valore di x o y non consente una previsione dell'altro - xey sono indipendenti l'uno dall'altro - supponendo che ogni relazione è lineare.

Il coefficiente di correlazione fornisce un'indicazione di quanto bene la conoscenza di x (o y) ci consenta di prevedere y (o x). Supponendo relazioni lineari.

In un piano, un vettore lungo l'asse X può essere variato in grandezza senza cambiare il suo componente lungo l'asse Y - gli assi X e Y sono ortogonali e il vettore lungo X è ortogonale a qualsiasi lungo Y. Varia la grandezza di un vettore non lungo X, causerà la variazione di entrambi i componenti X e Y. Il vettore non è più ortogonale a Y.

Se due variabili non sono correlate sono ortogonali e se due variabili sono ortogonali, non sono correlate. La correlazione e l'ortogonalità sono modi semplicemente diversi, sebbene equivalenti - algebrici e geometrici - di esprimere la nozione di indipendenza lineare. Come analogia, si consideri la soluzione di una coppia di equazioni lineari in due variabili tracciando (geometrico) e determinanti (algebrico).

Rispetto al presupposto della linearità: lascia che x sia il tempo, che sia una funzione sinusoidale. Per un periodo, xey sono sia ortogonali che non correlati usando i soliti mezzi per calcolare entrambi. Tuttavia la conoscenza di x ci consente di prevederlo con precisione. La linearità è un aspetto cruciale della correlazione e dell'ortogonalità.

Sebbene non faccia parte della domanda, noto che la correlazione e la non ortogonalità non equivalgono alla causalità. xey possono essere correlati perché entrambi hanno una dipendenza, possibilmente nascosta, da una terza variabile. Il consumo di gelato aumenta in estate, le persone vanno in spiaggia più spesso in estate. I due sono correlati, ma nessuno dei due "causa" l'altro. Vedi https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation per ulteriori informazioni su questo punto.

— James R. Matey
fonte

Non correlazione e ortogonalità sono cose diverse. Puoi verificarlo qui - terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf

— Yurii

Ecco la relazione: se X e Y non sono correlati, allora XE [X] è ortogonale a YE [Y].

A differenza di quello indipendente, un concetto più forte di non correlato, cioè indipendente porterà a non correlato, (non) ortogonale e (non) correlato può avvenire contemporaneamente.

Sono il TA di probabilità in questo semestre, quindi faccio un breve video su Indipendenza, Correlazione, Ortogonalità.

https://youtu.be/s5lCl3aQ_A4

Spero che sia d'aiuto.

— Linan Huang
fonte

Questo non risponde alla domanda.

— Michael R. Chernick,

Revisiono la risposta, spero che questo possa aiutare ~ @ Michael

— Chernick

@linanhuang People from Larx?

— YHH,