Perché la correlazione zero non implica necessariamente l'indipendenza

Se due variabili hanno una correlazione 0, perché non sono necessariamente indipendenti? Le variabili zero correlate sono indipendenti in circostanze speciali? Se possibile, sto cercando una spiegazione intuitiva, non altamente tecnica.

La correlazione misura l'associazione lineare tra due variabili date e non ha l'obbligo di rilevare altre forme di associazione.

Quindi queste due variabili potrebbero essere associate in molti altri modi non lineari e la correlazione non potrebbe distinguere dal caso indipendente.

Come esempio molto didattico, artificiale e non realistico, si può considerare tale che per e . Si noti che non sono solo associati, ma l'uno è una funzione dell'altro. Tuttavia, la loro correlazione è 0, poiché la loro associazione è ortogonale all'associazione che la correlazione è in grado di rilevare.P ( X = x ) = 1 / 3 x = - 1 , 0 , 1 Y $X$$P(X=x)=1/3$$x=-1, 0, 1$$Y=X^2$

Vi è una generale mancanza di rigore nell'uso della parola "correlazione" per la semplice ragione che può avere presupposti e significati molto diversi. L'uso più semplice, più lento e più comune è che esiste una vaga associazione, relazione o mancanza di indipendenza tra una coppia statica di variabili casuali.

Qui, la metrica di default a cui si fa riferimento di solito è la correlazione di Pearson , che è una misura standardizzata dell'associazione lineare a coppie tra due variabili distribuite in modo continuo. Uno degli abusi più comuni di Pearson è segnalarlo in percentuale. Non è sicuramente una percentuale. La correlazione di Pearson , r , varia tra -1,0 e +1,0 dove 0 significa nessuna associazione lineare . Altri problemi non così ampiamente riconosciuti con l'uso della correlazione di Pearson come impostazione predefinita è che si tratta in realtà di una misura di linearità piuttosto rigorosa e non robusta che richiede input come variate a scala di intervallo (vedere l'eccellente documento di Paul Embrechts suCorrelazione e dipendenza nella gestione dei rischi: proprietà e insidie qui: https://people.math.ethz.ch/~embrecht/ftp/pitfalls.pdf ).

Embrechts nota che ci sono molte ipotesi fallaci sulla dipendenza che iniziano con ipotesi della struttura sottostante e della forma geometrica di queste relazioni:

Questi errori derivano da un ingenuo presupposto che le proprietà di dipendenza del mondo ellittico valgano anche nel mondo non ellittico

Embrechts indica le copule come una classe molto più ampia di metriche di dipendenza utilizzate in finanza e gestione del rischio, di cui la correlazione di Pearson è solo un tipo.

Il dipartimento statistico della Columbia ha trascorso l'anno accademico 2013-2014 incentrato sullo sviluppo di conoscenze più approfondite sulle strutture di dipendenza: ad es. Lineare, non lineare, monotonico, rango, parametrico, non parametrico, potenzialmente altamente complesso e con ampie differenze di ridimensionamento. L'anno si è concluso con un seminario e una conferenza di 3 giorni che hanno riunito la maggior parte dei principali partecipanti in questo campo ( http://datascience.columbia.edu/workshop-and-conference-nonparametric-measures-dependence-apr-28-may- 2 ).

Tra questi collaboratori, i Reshef Brothers, ora famosi per un articolo scientifico del 2011 Rilevazione di nuove associazioni in set di dati di grandi dimensioni http://www.uvm.edu/~cdanfort/csc-reading-group/reshef-correlation-science-2011.pdf che è stato ampiamente criticato (vedi AndrewGelman.com per una buona panoramica, pubblicato contemporaneamente all'evento Columbia: http://andrewgelman.com/2014/03/14/maximal-information-coefficient ). I Reshefs hanno affrontato tutte queste critiche nella loro presentazione (disponibile sul sito Web della conferenza Columbia), nonché un algoritmo MIC molto più efficiente.

Molti altri importanti statistici hanno presentato a questo evento tra cui Gabor Szekely, ora al NSF di DC. Szekely ha sviluppato le sue correlazioni di distanza e distanza parziale . Deep Mukhopadhay, Temple U, presenta il suo algoritmo statistico unificato - un framework per algoritmi unificati di data science - basato sul lavoro svolto con Eugene Franzen http://www.fox.temple.edu/mcm_people/subhadeep-mukhopadhyay/ . E molti altri. Per me, uno dei temi più interessanti è stato l'ampiezza della leva e dell'uso di Reproducing Kernel Hilbert Space (RKHS) e del chi-quadrato. Se a questa conferenza c'era un approccio modale alle strutture di dipendenza, era l'RKHS.

I tipici libri di testo sulle statistiche introduttive sono superficiali nel trattamento della dipendenza, di solito si basano su presentazioni dello stesso insieme di visualizzazioni di relazioni circolari o paraboliche. Testi più sofisticati approfondiranno il Quartetto di Anscombe , una visualizzazione di quattro diversi set di dati che possiedono proprietà statistiche semplici e simili ma relazioni estremamente diverse: https://en.wikipedia.org/wiki/Anscombe%27s_quartet

Una delle grandi cose di questo seminario è stata la moltitudine di strutture e relazioni di dipendenza visualizzate e presentate, che vanno ben oltre il trattamento standard e superficiale. Ad esempio, i Reshefs avevano dozzine di miniature grafiche che rappresentavano solo un campionamento di possibili non linearità. Deep Mukhopadhay aveva immagini straordinarie di relazioni molto complesse che assomigliavano più a una visione satellitare dell'Himalaya. Gli autori dei manuali di statistica e scienza dei dati devono prendere nota.

Uscendo dalla conferenza della Columbia con lo sviluppo e la visualizzazione di queste strutture di dipendenza altamente complesse, a coppie, rimasi in discussione la capacità dei modelli statistici multivariati di catturare queste non linearità e complessità.

Dipende dalla tua esatta definizione di "correlazione", ma non è troppo difficile costruire casi degeneri. "Indipendente" potrebbe significare qualcosa del tipo "nessun potere predittivo, per niente" quanto la "correlazione lineare".

La correlazione lineare, ad esempio, non indicherebbe dipendenza da se il dominio di fosse .x [ 0 , 1 $y= \sin(2000x)$$x$$[0,1)$

Fondamentalmente, la dipendenza di Y su X significa che la distribuzione dei valori di Y dipende in qualche modo dal valore di X. Tale dipendenza può essere sul valore medio di Y (il solito caso presentato nella maggior parte delle risposte) o qualsiasi altra caratteristica di Y.

Ad esempio, sia X uguale a 0 o 1. Se X = 0, allora sia Y uguale a 0, se X = 1 sia Y pari a -1, 0 o 1 (stessa probabilità). X e Y non sono correlati. In media, Y non dipende da X perché qualunque sia il valore X, la media di Y è 0. Ma chiaramente la distribuzione dei valori di Y dipende dal valore X. In questo caso, ad esempio, la varianza di Y è 0 quando X = 0 e> 0 quando X = 1, quindi c'è, almeno, una dipendenza dalla varianza, cioè c'è una dipendenza.

Quindi, la correlazione lineare mostra solo un tipo di dipendenza dalla media (dipendenza lineare), che a sua volta è solo un caso speciale di dipendenza.