Cosa significa ortogonale nel contesto statistico?

60

In altri contesti, ortogonale significa "ad angolo retto" o "perpendicolare".

Cosa significa ortogonale in un contesto statistico?

Grazie per eventuali chiarimenti.

descriptive-statistics

2

Grazie per la domanda Ne ho chiesto uno più generale: cosa c'è di così comune in tutti i casi di ortogonalità. Ero anche interessato a sapere come l'indipendenza statistica soddisfa questa proprietà? physics.stackexchange.com/questions/67506

— Val

5

Sono sorpreso che nessuna delle risposte qui menzionino che di solito si intende nel senso matematico "algebra lineare" della parola. Ad esempio, quando si parla di un "set ortogonale delle variabili" di solito si intende che

per la matrice con l'insieme di variabili

. Viene utilizzato anche "ortogonale".

X^{T} X = I

$X^{T}X=I$

X

$X$

— Probislogic,

4

@probability "Ortogonale" ha significato per uno spazio vettoriale con una forma quadratica

Q

$Q$ : due vettori

v

$v$ e

w

$w$ sono ortogonali se e solo se

Q (v, w) = 0

$Q(v,w)=0$ . "Ortonormale" significa inoltre che

Q (v, v) = 1 = Q (w, w)

$Q(v,v)=1=Q(w,w)$ . Pertanto, "ortogonale" e "ortogonale" non sono sinonimi, né sono limitati a matrici finite. ( Ad esempio ,

v

$v$ e

w

$w$ possono essere elementi di uno spazio di Hilbert, come lo spazio di

L^{2}

$L^2$ funzioni a valore complesso su

R^{3}

$\mathbb{R}^3$ usato nella meccanica quantistica classica.)

— whuber

Questo collegamento potrebbe aiutare a comprendere la (non) connessione tra ortogonalità e correlazione. alecospapadopoulos.wordpress.com/2014/08/16/…

— RBirkelbach

La crescente raccolta di risposte diverse (ma corrette) indica che si tratta di un buon thread CW.

— whuber

-16

Significa che [le variabili casuali X, Y] sono "indipendenti" l'una dall'altra. Le variabili casuali indipendenti sono spesso considerate "ad angolo retto" l'una con l'altra, dove per "angolo retto" si intende che il prodotto interno dei due è 0 (una condizione equivalente dall'algebra lineare).

Ad esempio sul piano XY si dice che gli assi X e Y sono ortogonali perché se il valore x di un dato punto cambia, diciamo andando da (2,3) a (5,3), il suo valore y rimane lo stesso (3), e viceversa. Quindi le due variabili sono "indipendenti".

Vedi anche le voci di Wikipedia su Indipendenza e ortogonalità

— crazyjoe
fonte

24

Poiché la distinzione tra correlazione e mancanza di dipendenza è importante, equiparare l'ortogonalità all'indipendenza non è una buona cosa da fare.

— whuber

Poiché né OP né responder sono attivi da oltre un anno, probabilmente vale la pena modificarlo per renderlo almeno una risposta chiara . Ci ho provato.

— Assad Ebrahim,

1

Un controesempio comune a questo all'interno delle statistiche è PCA vs. ICA, con PCA che impone l'ortogonalità e ICA che massimizzano l'indipendenza.

— jona,

5

Per i moderatori: è un peccato che questa buona domanda, molto popolare, sia "bloccata" con una risposta che molti penseranno che sarebbe meglio retrocedere (punteggio attuale -4). Poiché sia il PO che il risponditore non sono attivi da oltre un anno, forse il controllo "accettato" può essere rimosso e la domanda può essere lasciata "aperta". Le risposte più complete di seguito parlano da sole.

— Assad Ebrahim,

1

Le mod di @Assad non possono rimuovere l'accettazione del PO. Questa è la provincia del PO.

— Glen_b

33

Non posso fare un commento perché non ho abbastanza punti, quindi sono costretto a dire la mia mente come risposta, per favore perdonami. Dal poco che so, non sono d'accordo con la risposta selezionata da @crazyjoe perché l'ortogonalità è definita come

E [X Y^{⋆}] = 0

$E[XY^{\star}] = 0$

Così:

$Y=X^2$

Pertanto, l'ortogonalità non implica l'indipendenza.

— user497804
fonte

2

Y^{*}

$Y^{*}$

2

@mugen, probabilmente indicando il coniugato complesso.

— A. Donda,

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

⟨ X, Y ⟩ = E [X Y]

$\langle X,Y\rangle=E[XY]$

21

Se X e Y sono indipendenti, allora sono ortogonali. Ma il contrario non è vero, come sottolineato dall'esempio intelligente dell'utente497804. Per le definizioni esatte fare riferimento a

$C_1$ $C_2$ ${\rm cov}(C_1,C_2)=0$

(Pg 376, Probabilità e processi casuali di Geoffrey Grimmett e David Stirzaker)

$X$ $Y$ $F(x,y) = F_X(x)F_Y(y)$ $x,y \in \mathbb{R}$

$f(x,y) = f_X(x)f_Y(y)$

(Pagina 99, Probabilità e processi casuali di Geoffrey Grimmett e David Stirzaker)

— Naresh
fonte

21

@Mien ha già fornito una risposta e, come sottolineato da @whuber, ortogonale significa non correlato. Tuttavia, vorrei davvero che le persone fornissero alcuni riferimenti. Potresti considerare utili i seguenti collegamenti poiché spiegano il concetto di correlazione da una prospettiva geometrica.

La geometria dei vettori (vedi p. 7)
Variabili linearmente indipendenti, ortogonali e non correlate
Rappresentazione grafica della correlazione bidimensionale nello spazio vettoriale (potrebbe non essere libero per te)

— Bernd Weiss
fonte

1

Il secondo link ha spiegato tutto ciò che volevo sapere. Grazie! :)

— Lenar Hoyt

Variabili casuali con valori reali Xe Ynon correlate se e solo se le variabili centrate X-E(X)e Y-E(Y)sono ortogonali. [ref]

— knedlsepp

1

@Bernd I primi due collegamenti non funzionano.

— sopraffatto il

@overwhelmed Immagino che questo sia l'articolo a cui puntava il secondo link.

— Josh O'Brien,

8

Un sito web NIST (riferimento sotto) definisce l'ortogonale come segue, "Un disegno sperimentale è ortogonale se gli effetti di qualsiasi fattore si bilanciano (somma a zero) attraverso gli effetti degli altri fattori."

In deisgn statistico, intendo ortogonale significa "non cofondato" o "non aliasato". Questo è importante quando si progetta e si analizza l'esperimento se si desidera assicurarsi di poter identificare chiaramente diversi fattori / trattamenti. Se il tuo esperimento progettato non è ortogonale, significa che non sarai in grado di separare completamente gli effetti di diversi trattamenti. Pertanto sarà necessario condurre un esperimento di follow-up per deconcedere l'effetto. Questo si chiamerebbe deisgn aumentato o design comparativo.

L'indipendenza sembra essere una scelta sbagliata poiché è stata utilizzata in molti altri aspetti del design e dell'analisi.

Rif. NIST http://www.itl.nist.gov/div898/handbook/pri/section7/pri7.htm

— Chris
fonte

3

+1 per l'introduzione di un contesto progettuale sperimentale. La parola "ortogonale" merita di essere usata qui perché in realtà è esattamente la stessa cosa del concetto matematico: i vettori (colonna) che rappresentano i fattori nell'esperimento, considerati come elementi di uno spazio euclideo, saranno effettivamente ortogonali (a destra angoli, con un prodotto a punto zero) in un disegno ortogonale.

— whuber

2

Molto probabilmente significano "non correlato" se dicono "ortogonale"; se due fattori sono ortogonali (ad es. nell'analisi fattoriale), non sono correlati, la loro correlazione è zero.

— aspetto
fonte

3

Il coefficiente di correlazione è (o è naturalmente interpretabile come) il coseno di un angolo. Quando è zero, quale pensi sia l'angolo? :-) Non correlato non significa non correlato!

— whuber

Non sto dicendo che ti sbagli, ma potresti darmi un esempio di qualcosa che non è correlato e correlato; o vice versa? Non sono sicuro di capire la differenza.

— Mien,

E sì, so che quell'angolo sarebbe di 90 °. Un angolo retto è ortogonale.

— Mien,

5

X

$X$

{- 1, 0, 1}

$\{-1,0,1\}$

Y = X^{2}

$Y=X^2$

X

$X$

Y

$Y$

ρ_{X, Y} = 0

$\rho_{X,Y}=0$

Y

$Y$

X

$X$

Ah sì, grazie. Ma il contrario non è possibile, è (se non c'è una terza variabile o qualcosa di simile)?

— Mien,

2

Secondo http://terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf , l'indipendenza lineare è una condizione necessaria per l'ortogonalità o la non correlazione. Ma ci sono distinzioni più sottili, in particolare l'ortogonalità non è correlazione.

— user45059
fonte

1

$(X,Y)$ $X\cdot Y=0$

C o v (X - E [X], Y - E [Y]) = E [X \cdot Y] = E [0] = 0 ⟹ C o r r (X - E [X], Y - E [Y]) = 0

$Cov(X-E[X],Y-E[Y]) = E[X\cdot Y]= E[0]=0\implies \\Corr(X-E[X],Y-E[Y])=0$

— Diogo
fonte

1

In econometria, l'ipotesi di ortogonalità indica che il valore atteso della somma di tutti gli errori è 0. Tutte le variabili di un regressore sono ortogonali ai loro attuali termini di errore.

$E(x_{i}·ε_{i}) = 0$

In termini più semplici, significa che un regressore è "perpendicolare" al termine dell'errore.

— Leopold W.
fonte

-2

Due o più IV non sono correlati (indipendenti) l'uno all'altro, ma entrambi hanno un'influenza sul DV. Ogni IV contribuisce separatamente ad un valore distinto al risultato, mentre entrambi o tutti i IV contribuiscono anche in modo additivo alla previsione del reddito (ortogonale = influenza IV non intersecante su un DV). Le IV sono non correlate tra loro e di solito posizionate ad angolo retto * vedi diagramma di Venn.

Esempio: relazione tra motivazione e anni di istruzione sul reddito.

IV = Anni di istruzione IV = Motivazione DV = Reddito

https://onlinecourses.science.psu.edu/stat505/node/167

— colpetto
fonte

-2

Le variabili casuali correlate indicano che le variabili dicono che X e Y possono avere qualsiasi relazione; può essere lineare o non lineare. L'indipendenza e le proprietà ortogonali sono le stesse se le due variabili sono linearmente correlate.

— J Subramani
fonte

2

Questo perpetua l'errore commesso da crazyjoe: l'ortogonalità non implica indipendenza a meno che le variabili non siano distribuite congiuntamente normalmente.

— whuber