Utilizzo delle informazioni reciproche per stimare la correlazione tra una variabile continua e una variabile categoriale

Per quanto riguarda il titolo, l'idea è quella di utilizzare le informazioni reciproche, qui e dopo MI, per stimare la "correlazione" (definita come "quanto so di A quando conosco B") tra una variabile continua e una variabile categoriale. Ti racconterò i miei pensieri sull'argomento tra un momento, ma prima di consigliarti di leggere quest'altra domanda / risposta su CrossValidated in quanto contiene alcune informazioni utili.

Ora, poiché non possiamo integrarci su una variabile categoriale, dobbiamo discretizzare quella continua. Questo può essere fatto abbastanza facilmente in R, che è la lingua con cui ho fatto la maggior parte delle mie analisi. Ho preferito usare la cutfunzione, poiché alias anche i valori, ma sono disponibili anche altre opzioni. Il punto è che bisogna decidere a priori il numero di "bin" (stati discreti) prima di poter effettuare qualsiasi discretizzazione.

Il problema principale, tuttavia, è un altro: MI varia da 0 a ∞, poiché è una misura non standardizzata quale unità è il bit. Ciò rende molto difficile usarlo come coefficiente di correlazione. Ciò può essere parzialmente risolto utilizzando il coefficiente di correlazione globale , qui e dopo GCC, che è una versione standardizzata di MI; GCC è definito come segue:

inserisci qui la descrizione dell'immagine

Riferimento: la formula proviene dall'informazione reciproca come strumento non lineare per l'analisi della globalizzazione del mercato azionario di Andreia Dionísio, Rui Menezes e Diana Mendes, 2010.

GCC varia da 0 a 1 e pertanto può essere facilmente utilizzato per stimare la correlazione tra due variabili. Problema risolto, vero? Bene, un po '. Poiché tutto questo processo dipende fortemente dal numero di "contenitori" che abbiamo deciso di utilizzare durante la discretizzazione. Ecco i risultati dei miei esperimenti:

inserisci qui la descrizione dell'immagine

Sull'asse y hai GCC e sull'asse x hai il numero di 'bin' che ho deciso di usare per la discretizzazione. Le due righe si riferiscono a due diverse analisi che ho condotto su due set di dati diversi (anche se molto simili).

Mi sembra che l'uso dell'MI in generale e del GCC in particolare sia ancora controverso. Tuttavia, questa confusione può essere il risultato di un errore dalla mia parte. In entrambi i casi, mi piacerebbe sentire la tua opinione in merito (inoltre, hai metodi alternativi per stimare la correlazione tra una variabile categoriale e una continua?).

correlation information-theory mutual-information

— Edgar Derby
fonte

Non posso commentare il calcolo delle informazioni reciproche per la distribuzione congiunta di variabili continue e discrete, ma posso suggerire che l'effetto del binning dovrebbe essere eliminato se si calcola una variante normalizzata di informazioni reciproche. Tipicamente uno normalizzato dalla somma delle entropie o dall'entropia articolare. La somma delle entropie è leggermente migliore perché .

H (X_{i}, X_{j}) \leq H (X_{i}) + H (X_{j})

$H(X_i, X_j) \leq H(X_i) + H(X_j)$

— Jessica Collins,

A proposito, ecco il codice nel caso qualcuno voglia provare il metodo di binning.

— zkurtz,

Non stai stimando la "correlazione". Stai stimando le informazioni reciproche. L'uno non stima l'altro; sono misure distinte del concetto più generale di associazione .

— zkurtz,

Forse un titolo migliore per questo post è "Come meglio binare una variabile continua per stimare le sue informazioni reciproche con una variabile categoriale?"

— zkurtz,

Ecco un interessante approccio non binning. Purtroppo non riesco a trovare un'implementazione R.

— zkurtz,

Esiste un modo più semplice e migliore per affrontare questo problema. Una variabile categoriale è effettivamente solo un insieme di variabili indicatore. È un'idea di base della teoria delle misurazioni che una tale variabile è invariante alla rietichettatura delle categorie, quindi non ha senso usare l'etichettatura numerica delle categorie in qualsiasi misura della relazione tra un'altra variabile (ad esempio, "correlazione") . Per questo motivo, e la misura della relazione tra una variabile continua e una variabile categoriale dovrebbe essere interamente basata sulle variabili dell'indicatore derivate da quest'ultima.

Dato che si desidera una misura di "correlazione" tra le due variabili, ha senso esaminare la correlazione tra una variabile casuale continua e una variabile casuale indicatrice derivata da una variabile categoriale. Lasciando abbiamo: $X$ $I$ $\phi \equiv \mathbb{P}(I=1)$

C o v (I, X) = E (I X) - E (I) E (X) = ϕ [E (X | I = 1) - E (X)],

$\mathbb{Cov}(I,X) = \mathbb{E}(IX) - \mathbb{E}(I) \mathbb{E}(X) = \phi \left[ \mathbb{E}(X|I=1) - \mathbb{E}(X) \right] ,$

che dà:

C o r r (I, X) = \sqrt{\frac{ϕ}{1 - ϕ}} \cdot \frac{E (X | I = 1) - E (X)}{S (X)} .

$\mathbb{Corr}(I,X) = \sqrt{\frac{\phi}{1-\phi}} \cdot \frac{\mathbb{E}(X|I=1) - \mathbb{E}(X)}{\mathbb{S}(X)} .$

Quindi la correlazione tra una variabile casuale continua e una variabile casuale indicatore è una funzione abbastanza semplice della probabilità dell'indicatore e del guadagno standardizzato del valore atteso di dal condizionamento su . Si noti che questa correlazione non richiede alcuna discretizzazione della variabile casuale continua. $X$ $I$ $\phi$ $X$ $I=1$

Per una variabile categoriale generale con intervallo si dovrebbe quindi estendere questa idea per avere un vettore di valori di correlazione per ogni risultato della variabile categoriale. Per ogni risultato possiamo definire l'indicatore corrispondente e abbiamo: $C$ $1, ..., m$ $C=k$ $I_k \equiv \mathbb{I}(C=k)$

C o r r (I_{k}, X) = \sqrt{\frac{ϕ_{k}}{1 - ϕ_{k}}} \cdot \frac{E (X | C = k) - E (X)}{S (X)} .

$\mathbb{Corr}(I_k,X) = \sqrt{\frac{\phi_k}{1-\phi_k}} \cdot \frac{\mathbb{E}(X|C=k) - \mathbb{E}(X)}{\mathbb{S}(X)} .$

Possiamo quindi definire come vettore di valori di correlazione per ogni categoria della variabile casuale categoriale. Questo è davvero l'unico senso in cui ha senso parlare di "correlazione" per una variabile casuale categorica. $\mathbb{Corr}(C,X) \equiv (\mathbb{Corr}(I_1,X), ..., \mathbb{Corr}(I_m,X))$

( Nota: è banale mostrare che e quindi il vettore di correlazione per una variabile casuale categoriale è soggetto a questo vincolo. Ciò significa che data la conoscenza del vettore di probabilità per il variabile casuale categorica e la deviazione standard di , è possibile derivare il vettore da qualsiasi dei suoi elementi.) $\sum_k \mathbb{Cov}(I_k,X) = 0$ $X$ $m-1$

L'esposizione sopra è per i veri valori di correlazione, ma ovviamente questi devono essere stimati in una data analisi. La stima delle correlazioni dell'indicatore dai dati del campione è semplice e può essere effettuata sostituendo le stime appropriate per ciascuna delle parti. (È possibile utilizzare metodi di stima più elaborati se si preferisce.) Dati di esempio possiamo stimare le parti dell'equazione di correlazione come: $(x_1, c_1), ..., (x_n, c_n)$

{\hat{ϕ}}_{k} \equiv \frac{1}{n} \sum_{i = 1}^{n} I (c_{i} = k) .

$\hat{\phi}_k \equiv \frac{1}{n} \sum_{i=1}^n \mathbb{I}(c_i=k).$

\hat{E} (X) \equiv \bar{x} \equiv \frac{1}{n} \sum_{i = 1}^{n} x_{i} .

$\hat{\mathbb{E}}(X) \equiv \bar{x} \equiv \frac{1}{n} \sum_{i=1}^n x_i.$

\hat{E} (X | C = k) \equiv {\bar{x}}_{k} \equiv \frac{1}{n} \sum_{i = 1}^{n} x_{i} I (c_{i} = k) / {\hat{ϕ}}_{k} .

$\hat{\mathbb{E}}(X|C=k) \equiv \bar{x}_k \equiv \frac{1}{n} \sum_{i=1}^n x_i \mathbb{I}(c_i=k) \Bigg/ \hat{\phi}_k .$

\hat{S} (X) \equiv s_{X} \equiv \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}} .

$\hat{\mathbb{S}}(X) \equiv s_X \equiv \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2}.$

La sostituzione di queste stime produrrebbe una stima di base del vettore di correlazione. Se disponi di informazioni parametriche su puoi stimare il vettore di correlazione direttamente con la massima probabilità o con qualche altra tecnica. $X$

— Ben - Ripristina Monica
fonte