Correlazione a distanza rispetto a informazioni reciproche

Ho lavorato con le informazioni reciproche per qualche tempo. Ma ho trovato una misura molto recente nel "mondo di correlazione" che può anche essere usata per misurare l'indipendenza della distribuzione, la cosiddetta "correlazione a distanza" (anche chiamata correlazione browniana): http://en.wikipedia.org/wiki/Brownian_covariance . Ho controllato i documenti in cui è stata introdotta questa misura, ma senza trovare alcuna allusione alle informazioni reciproche.

Quindi, le mie domande sono:

Risolvono esattamente lo stesso problema? In caso contrario, come sono diversi i problemi?
E se alla domanda precedente si può rispondere in positivo, quali sono i vantaggi dell'utilizzo dell'uno o dell'altro?

correlation mutual-information distance-covariance

— dsign
fonte

Prova a scrivere esplicitamente "correlazione a distanza" e "informazioni reciproche" per un semplice esempio. Nel secondo caso otterrai logaritmi, mentre nel primo no.

— Piotr Migdal,

@PiotrMigdal Sì, sono consapevole di quella differenza. Potresti spiegare perché è importante? Per favore, considera che non sono uno statistico ...

— firma il

Per ma uno strumento standard che misura la reciproca dipendenza delle distribuzioni di probabilità è l'informazione reciproca. Ha molte belle proprietà e la sua interpretazione è semplice. Tuttavia, potrebbero esserci problemi specifici in cui si preferisce la correlazione a distanza (ma non l'ho mai usato in vita mia). Quindi qual è il problema che stai cercando di risolvere?

— Piotr Migdal

Questo commento è in ritardo di qualche anno, ma il Dipartimento Statistico della Columbia University ha reso l'anno accademico 2013-2014 un anno di attenzione alle misure di dipendenza. Nell'aprile-maggio 2014, si è tenuto un seminario che ha riunito i migliori accademici che lavoravano in questo campo, tra cui i Reshef Brothers (MIC), Gabor Szekely (correlazioni a distanza), il Sottomissione Mukhopadhay per citarne alcuni. Ecco un link al programma che include molti pdf dalle presentazioni. dependence2013.wikischolars.columbia.edu/…

— Mike Hunter,

L'informazione / informazione reciproca non dipende dai possibili valori, dipende solo dalle probabilità, quindi è meno sensibile. La correlazione della distanza è più potente e più semplice da calcolare. Per un confronto vedi

http://www-stat.stanford.edu/~tibs/reshef/comment.pdf

— gabor J Szekely
fonte

Ciao, grazie per la tua risposta! L'articolo a cui ti riferisci riguarda il MIC, che credo sia un po 'più di MI. Ho implementato la misura di correlazione della distanza e non penso che sia più semplice dell'MI per il caso elementare di variabili categoriali discrete. Quindi ancora una cosa che ho imparato è che DCM è ben definito e ben educato per le variabili continue, ma con MI devi fare binning o cose fantasiose come MIC.

— firma il

Tuttavia, DCM sembra aver bisogno di matrici quadrate il cui lato è il numero di campioni. In altre parole, la complessità dello spazio si ridimensiona in modo quadratico. O almeno questa è la mia impressione, vorrei essere in errore. Il MIC funziona meglio, perché è possibile sintonizzarlo in una sorta di compromesso tra precisione e prestazioni.

— firma il