Qual è la differenza principale tra correlazione e informazioni reciproche?


15

la mia domanda si applica in particolare alla ricostruzione della rete

Risposte:


25

La correlazione misura la relazione lineare (correlazione di Pearson) o la relazione monotonica (correlazione di Spearman) tra due variabili, X e Y.

Le informazioni reciproche sono più generali e misurano la riduzione dell'incertezza in Y dopo aver osservato X. È la distanza KL tra la densità articolare e il prodotto delle singole densità. Quindi l'MI può misurare le relazioni non monotoniche e altre relazioni più complicate.


3
La correlazione non è necessariamente lineare - il rho di Spearman si basa sulla funzione monotonica, e tuttavia, la chiamiamo "coefficiente di correlazione", non "coefficiente di informazione reciproca". E per una buona ragione: fornisce informazioni sull'associazione tra due variabili. Informazioni reciproche, informazioni ridondanti, varianza reciproca, correlazione: questi termini sono così simili e questa domanda si riferisce alla ricostruzione della rete , quindi immagino che siamo finiti nell'area sbagliata con la giusta terminologia. Questa è una domanda abbastanza specifica ...
aL3xa

1
Buon punto. Ho modificato la mia risposta per includere relazioni monotoniche. Non so nulla sulla ricostruzione della rete.
Rob Hyndman,

4

Per aggiungere alla risposta di Rob ... per quanto riguarda il reverse engineering di una rete, l'MI può essere preferito rispetto alla correlazione quando si desidera estrarre collegamenti causali piuttosto che associativi nella propria rete. Le reti di correlazione sono puramente associative. Ma per MI, hai bisogno di più dati e potenza di elaborazione.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.