Qualcuno può illustrare come può esserci dipendenza e zero covarianza?

Qualcuno può illustrare, come fa Greg, ma in modo più dettagliato, in che modo le variabili casuali possono essere dipendenti, ma hanno una covarianza zero? Greg, un poster qui, fornisce un esempio usando un cerchio qui .

Qualcuno può spiegare questo processo in modo più dettagliato usando una sequenza di passaggi che illustrano il processo in più fasi?

Inoltre, se conosci un esempio di psicologia, ti preghiamo di illustrare questo concetto con un esempio correlato. Ti preghiamo di essere molto preciso e sequenziale nella tua spiegazione e di indicare anche quali potrebbero essere le conseguenze.

L'idea di base qui è che la covarianza misura solo un particolare tipo di dipendenza , quindi i due non sono equivalenti. In particolare,

• La covarianza è una misura della linearità delle due variabili. Se due variabili sono correlate in modo non lineare, ciò non si rifletterà nella covarianza. Una descrizione più dettagliata può essere trovata qui .

• La dipendenza tra variabili casuali si riferisce a qualsiasi tipo di relazione tra i due che li induce ad agire diversamente "insieme" di quanto non facciano "da soli". In particolare, la dipendenza tra variabili casuali sottrae qualsiasi relazione tra i due che fa sì che la loro distribuzione congiunta non sia il prodotto delle loro distribuzioni marginali. Ciò include relazioni lineari e molte altre.

• Se due variabili sono correlate in modo non lineare , possono potenzialmente avere 0 covarianza ma sono ancora dipendenti - molti esempi sono riportati qui e questo diagramma di seguito da Wikipedia fornisce alcuni esempi grafici nella riga inferiore:

  

• Un esempio in cui la covarianza zero e l'indipendenza tra variabili casuali sono condizioni equivalenti è quando le variabili sono normalmente distribuite congiuntamente (ovvero, le due variabili seguono una distribuzione normale bivariata , che non è equivalente alle due variabili che sono distribuite individualmente normalmente). Un altro caso speciale è che le coppie di variabili bernoulli non sono correlate se e solo se sono indipendenti (grazie a @cardinal). Ma, in generale, i due non possono essere considerati equivalenti.

Pertanto, non si può, in generale, concludere che due variabili siano indipendenti solo perché appaiono non correlate (ad es. Non è mancato il rifiuto dell'ipotesi nulla di non correlazione). Si consiglia di tracciare i dati per dedurre se i due sono correlati, non semplicemente fermarsi a un test di correlazione. Ad esempio, (grazie @gung), se si dovesse eseguire una regressione lineare (ovvero test per una correlazione diversa da zero) e trovare un risultato non significativo, si potrebbe essere tentati di concludere che le variabili non sono correlate, ma si ' ho solo studiato una relazione lineare .

Non so molto sulla psicologia, ma ha senso che ci possano essere relazioni non lineari tra variabili lì. Ad esempio, sembra possibile che l'abilità cognitiva non sia linearmente correlata all'età: le persone molto giovani e molto anziane non sono così acute come un trentenne. Se si dovesse tracciare una certa misura dell'abilità cognitiva rispetto all'età, ci si potrebbe aspettare di vedere che l'abilità cognitiva è massima a un'età moderata e decade attorno a quella, il che sarebbe un modello non lineare.

Un modo standard di insegnare / visualizzare una correlazione o covarianza è quello di tracciare i dati, tracciare linee alla media di 'x' e 'y', quindi disegnare rettangoli dal punto dei 2 mezzi ai singoli punti dati, in questo modo:

I rettangoli (punti) nei quadranti in alto a destra e in basso a sinistra (rossi nell'esempio) contribuiscono con valori positivi alla correlazione / covarianza, mentre i rettangoli (punti) nei quadranti in alto a sinistra e in basso a destra (blu nell'esempio) contribuiscono in negativo valori per la correlazione / covarianza. Se l'area totale dei rettangoli rossi è uguale all'area totale dei rettangoli blu, i positivi e i negativi si annullano e si ottiene una covarianza zero. Se c'è più area in rosso, allora la covarianza sarà positiva e se c'è più area in blu, allora la covarianza sarà negativa.

Ora diamo un'occhiata a un esempio della discussione precedente:

I singoli punti seguono una parabola, quindi sono dipendenti, se conosci 'x' allora conosci 'y' esattamente, ma puoi anche vedere che per ogni rettangolo rosso c'è un rettangolo blu corrispondente, quindi la covarianza finale sarà 0 .

Un semplice test se quello se i dati seguono sostanzialmente un modello simmetrico attorno ad un asse verticale o orizzontale attraverso i mezzi, la varianza sarà abbastanza vicina allo zero. Ad esempio, se la simmetria è attorno all'asse y, significa che per ogni valore con un dato y, c'è una differenza x positiva dalla media x e una differenza negativa dalla media x. L'aggiunta di y * x per questi valori sarà zero. Puoi vederlo illustrato bene nella raccolta di grafici di esempio nelle altre risposte. Esistono altri schemi che produrrebbe una co-varianza zero ma non l'indipendenza, ma molti esempi possono essere facilmente valutati cercando la simmetria o meno.

Un esempio da Wikipedia :

"Se le variabili sono indipendenti, il coefficiente di correlazione di Pearson è 0, ma il contrario non è vero perché il coefficiente di correlazione rileva solo dipendenze lineari tra due variabili. Ad esempio, supponiamo che la variabile casuale X sia distribuita simmetricamente su zero e Y = X ^ 2. Quindi Y è completamente determinato da X, in modo che X e Y siano perfettamente dipendenti, ma la loro correlazione è zero; non sono correlati. Tuttavia, nel caso speciale in cui X e Y sono congiuntamente normali, la non correlazione è equivalente all'indipendenza. "