Come testare che due variabili continue sono indipendenti?

Supponiamo di avere un campione dalla distribuzione congiunta di X e Y . Come testare l'ipotesi che X e Y siano indipendenti ?$(X_n,Y_n), n=1..N$$X$$Y$$X$$Y$

Non viene fatta alcuna ipotesi sulle leggi di distribuzione congiunte o marginali di e Y (almeno di tutta la normalità congiunta, poiché in tal caso l'indipendenza è identica alla correlazione essendo 0 ).$X$$Y$$0$

Non si ipotizza la natura di una possibile relazione tra e Y ; può essere non lineare, quindi le variabili sono non correlate ( r = 0 ) ma altamente co-dipendenti ( I = H ).$X$$Y$$r=0$$I=H$

Vedo due approcci:

1. Raccogli entrambe le variabili e usa il test esatto o il test G di Fisher .

   • Pro: utilizzare test statistici consolidati
   • Contro: dipende dal binning

2. Stimare la dipendenza di e Y : I ( X ; Y )$X$$Y$$\frac{I(X;Y)}{H(X,Y)}$ (questo èperXeYindipendentie1quando si determinano completamente a vicenda).$0$$X$$Y$$1$

   • Pro: produce un numero con un chiaro significato teorico
   • Contro: dipende dal calcolo approssimativo dell'entropia (cioè, binning di nuovo)

Questi approcci hanno senso?

Quali altri metodi usano le persone?

Questo è un problema molto difficile in generale, anche se apparentemente le tue variabili sono solo 1d, il che aiuta. Naturalmente, il primo passo (quando possibile) dovrebbe essere quello di tracciare i dati e vedere se qualcosa ti viene fuori; sei in 2d quindi dovrebbe essere facile.

$\mathbb{R}^n$

• Come hai detto, stimare le informazioni reciproche tramite entropie. Questa potrebbe essere la tua migliore opzione; gli stimatori vicini più vicini vanno bene in dimensioni ridotte e anche gli istogrammi non sono terribili in 2d. Se sei preoccupato per l'errore di stima, questo stimatore è semplice e ti dà limiti del campione finito (la maggior parte degli altri dimostra solo proprietà asintotiche):

  Sricharan, Raich ed Hero. Stima empirica dei funzionali entropici con fiducia. arXiv: 1012.4188 [math.ST]

  In alternativa, esistono stimatori diretti simili per informazioni reciproche, ad es

  Pál, Póczos e Svepesári. Stima dell'entropia di Rényi e informazioni reciproche basate su grafici generalizzati più vicini , NIPS 2010.

• Il criterio di indipendenza di Hilbert-Schmidt: un approccio basato sul kernel (nel senso di RKHS, non KDE).

  Gretton, Bousqet, Smola e Schölkopf, Misurare l'indipendenza statistica con le norme di Hilbert-Schmidt , Algorithmic Learning Theory 2005.

• L'approccio Schweizer-Wolff: basato sulle trasformazioni della copula, e quindi è invariante alle trasformazioni monotone crescenti. Non ne ho molta familiarità, ma penso che sia più semplice dal punto di vista computazionale ma forse anche meno potente.

  Schweizer e Wolff, Su misure non parametriche di dipendenza per variabili casuali , Annals of Statistics 1981.

$H_{0}: H(x,y) = F(x)G(y)$Hmischoeffd

Che ne dici di questo documento:

http://arxiv.org/pdf/0803.4101.pdf

"Misurazione e verifica della dipendenza mediante correlazione delle distanze". Székely e Bakirov hanno sempre cose interessanti.

Esiste un codice matlab per l'implementazione:

http://www.mathworks.com/matlabcentral/fileexchange/39905-distance-correlation

Se trovi qualche altro test (semplice da implementare) per l'indipendenza, faccelo sapere.

Il collegamento tra Covarianza a distanza e test del kernel (basato sul criterio di indipendenza di Hilbert-Schmidt) è riportato nel documento:

Sejdinovic, D., Sriperumbudur, B., Gretton, A. e Fukumizu, K., Equivalenza di statistiche basate sulla distanza e basate su RKHS nei test di ipotesi, Annals of Statistics, 41 (5), pp.2263-2702, 2013

È dimostrato che la covarianza a distanza è un caso speciale della statistica del kernel, per una particolare famiglia di kernel.

Se si intende utilizzare le informazioni reciproche, un test basato su una stima dettagliata dell'MI è:

Gretton, A. e Gyorfi, L., Test di indipendenza non parametrici coerenti, Journal of Machine Learning Research, 11, pp.1391-1423, 2010.

Se sei interessato ad ottenere la migliore potenza di prova, stai meglio usando i test del kernel, piuttosto che binning e informazioni reciproche.

Detto questo, dato che le tue variabili sono univariate, i test di indipendenza non parametrici classici come quelli di Hoeffding stanno probabilmente bene.

Raramente (mai?) Nelle statistiche puoi dimostrare che la tua statistica campione = un valore in punti. È possibile verificare i valori dei punti e escluderli o non escluderli. Ma la natura delle statistiche è che si tratta di esaminare dati variabili. Poiché c'è sempre una varianza, non ci sarà necessariamente modo di sapere che qualcosa non è esattamente correlato, normale, gaussiano, ecc. Puoi solo conoscere un intervallo di valori per esso. È possibile sapere se un valore è escluso dall'intervallo di valori plausibili. Ad esempio, è facile escludere nessuna relazione e fornire un intervallo di valori per quanto è grande la relazione.

Pertanto, cercando di non dimostrare alcuna relazione, essenzialmente il valore punto di relationship = 0non avrà successo. Se hai una serie di misure di relazione che sono accettabili come circa 0. Quindi sarebbe possibile escogitare un test.

Supponendo che tu possa accettare questa limitazione, sarebbe utile per le persone che cercano di aiutarti a fornire un diagramma a dispersione con una curva di basso livello. Dato che stai cercando soluzioni R, prova:

scatter.smooth(x, y)

Sulla base delle informazioni limitate fornite finora, penso che un modello di additivo generalizzato possa essere la cosa migliore per testare la non indipendenza. Se lo pianifichi con elementi della configurazione attorno ai valori previsti, potresti essere in grado di fare dichiarazioni su una convinzione di indipendenza. gamDai un'occhiata nel pacchetto mgcv. L'aiuto è abbastanza buono e qui c'è assistenza riguardo all'IC .

Potrebbe essere interessante ...

Garcia, JE; Gonzalez-Lopez, VA (2014) Test di indipendenza per variabili casuali continue basate sulla sottosequenza crescente più lunga. Journal of Multivariate Analysis, v. 127 p. 126-146.

http://www.sciencedirect.com/science/article/pii/S0047259X14000335

Se usi R, la cor.testfunzione nel pacchetto stats (impostazione predefinita in R) può farlo:

Test per associazione / correlazione tra campioni accoppiati. Test per l'associazione tra campioni accoppiati, utilizzando uno dei coefficienti di correlazione del momento del prodotto di Pearson, la tau di Kendall o la rho di Spearman.

cor.test(x, y,method="spearman")