Come posso studiare la "correlazione" tra una variabile continua e una variabile categoriale?

19

Qual è una misura di "correlazione" significativa per studiare la relazione tra questi due tipi di variabili?

In R, come si fa?

r correlation categorical-data association-measure

— Luna
fonte

1

prima di chiedere "come studi", dovresti avere la risposta a "come definisci" :-) A proposito, se si proietta la variabile categoriale su numeri interi, è già possibile eseguire la correlazione.

— Curioso

2

@Tomas, se lo fai, la forza stimata della relazione dipende da come hai deciso di etichettare i punti, il che è abbastanza spaventoso :)

— Macro

@Macro, hai ragione - un altro argomento valido per avere una buona definizione!

— Curioso

@Macro A meno che non abbia frainteso il tuo punto, no. La correlazione è insensibile alle trasformazioni lineari. Quindi cor (X, Y) = cor (a + bX, Y) per finito aeb. La rietichettatura di uno 0/1 come 1/11 non fa nulla per le correlazioni usando quel var o la sua trasformazione lineare.

— Alexis,

@Curious vedi il mio commento a Macro sopra. E nota: (1) X <- sample(c(0,1),replace=TRUE,size=100)(2) Y <- X + rnorm(100,0.5)(3) corr(Y,X)(4) X <- 1 + 10*X(5) corr(X,Y): stessi risultati per entrambe le correlazioni!

— Alexis,

19

Per un momento, ignoriamo il problema continuo / discreto. Fondamentalmente la correlazione misura la forza della relazione lineare tra variabili e sembra che tu stia chiedendo un modo alternativo per misurare la forza della relazione. Potresti essere interessato a guardare alcune idee dalla teoria dell'informazione . In particolare, penso che potresti voler consultare le informazioni reciproche . Le informazioni reciproche essenzialmente ti danno un modo per quantificare quanto sapere lo stato di una variabile ti dice sull'altra variabile. In realtà penso che questa definizione sia più vicina a ciò che la maggior parte delle persone intende quando pensano alla correlazione.

Per due variabili discrete X e Y, il calcolo è il seguente:

I (X; Y) = \sum_{y \in Y} \sum_{x \in X} p (x, y) \log (\frac{p (x, y)}{p (x) p (y)})

$I(X;Y) = \sum_{y \in Y} \sum_{x \in X} p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)} \right) }$

Per due variabili continue ci integriamo anziché prendere la somma:

I (X; Y) = \int_{Y} \int_{X} p (x, y) \log (\frac{p (x, y)}{p (x) p (y)}) d x d y

$I(X;Y) = \int_Y \int_X p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)} \right) } \; dx \,dy$

Il tuo particolare caso d'uso è per un discreto e uno continuo. Piuttosto che integrarsi su una somma o sommare un integrale, immagino che sarebbe più facile convertire una delle variabili nell'altro tipo. Un modo tipico per farlo sarebbe quello di discretizzare la tua variabile continua in bin discreti.

Esistono diversi modi per discretzie sui dati (ad esempio intervalli uguali) e credo che il pacchetto entropia dovrebbe essere utile per i calcoli di IM se si desidera utilizzare R.

— Michael McGowan
fonte

1

Grazie. Ma quanto in alto un MI corrisponde a corr = 1 e quanto in basso un MI corrisponde a corr = 0?

— Luna,

MI ha un minimo di 0 e MI = 0 se e solo se le variabili sono indipendenti. Tuttavia, MI non ha un limite superiore costante (il limite superiore è correlato alle entropie delle variabili), quindi potresti voler guardare una delle versioni normalizzate se questo è importante per te.

— Michael McGowan,

6

Se la variabile categoriale è ordinale e si inserisce la variabile continua in alcuni intervalli di frequenza, è possibile utilizzare Gamma. Disponibili anche dati accoppiati messi in forma ordinale sono la tau di Kendal, la tau di Stuart e Somers D. Questi sono tutti disponibili in SAS usando Proc Freq. Non so come vengano calcolati usando le routine R. Ecco un collegamento a una presentazione che fornisce informazioni dettagliate: http://faculty.unlv.edu/cstream/ppts/QM722/measuresofassociation.ppt#260,5, Misure dell'associazione per le variabili nominali e ordinali

— Michael R. Chernick
fonte

1

Una variabile categoriale è effettivamente solo un insieme di variabili indicatore. È un'idea di base della teoria delle misurazioni che una tale variabile è invariante alla rietichettatura delle categorie, quindi non ha senso usare l'etichettatura numerica delle categorie in qualsiasi misura della relazione tra un'altra variabile (ad esempio, "correlazione") . Per questo motivo, e la misura della relazione tra una variabile continua e una variabile categoriale dovrebbe essere interamente basata sulle variabili dell'indicatore derivate da quest'ultima.

$X$ $I$ $\phi \equiv \mathbb{P}(I=1)$

C o v (I, X) = E (I X) - E (I) E (X) = ϕ [E (X | I = 1) - E (X)],

$\mathbb{Cov}(I,X) = \mathbb{E}(IX) - \mathbb{E}(I) \mathbb{E}(X) = \phi \left[ \mathbb{E}(X|I=1) - \mathbb{E}(X) \right] ,$

che dà:

C o r r (I, X) = \sqrt{\frac{ϕ}{1 - ϕ}} \cdot \frac{E (X | I = 1) - E (X)}{S (X)} .

$\mathbb{Corr}(I,X) = \sqrt{\frac{\phi}{1-\phi}} \cdot \frac{\mathbb{E}(X|I=1) - \mathbb{E}(X)}{\mathbb{S}(X)} .$

$X$ $I$ $\phi$ $X$ $I=1$

$C$ $1, ..., m$ $C=k$ $I_k \equiv \mathbb{I}(C=k)$

C o r r (I_{k}, X) = \sqrt{\frac{ϕ_{k}}{1 - ϕ_{k}}} \cdot \frac{E (X | C = k) - E (X)}{S (X)} .

$\mathbb{Corr}(I_k,X) = \sqrt{\frac{\phi_k}{1-\phi_k}} \cdot \frac{\mathbb{E}(X|C=k) - \mathbb{E}(X)}{\mathbb{S}(X)} .$

$\mathbb{Corr}(C,X) \equiv (\mathbb{Corr}(I_1,X), ..., \mathbb{Corr}(I_m,X))$

$\sum_k \mathbb{Cov}(I_k,X) = 0$ $X$ $m-1$

$(x_1, c_1), ..., (x_n, c_n)$

{\hat{ϕ}}_{k} \equiv \frac{1}{n} \sum_{i = 1}^{n} I (c_{i} = k) .

$\hat{\phi}_k \equiv \frac{1}{n} \sum_{i=1}^n \mathbb{I}(c_i=k).$

\hat{E} (X) \equiv \bar{x} \equiv \frac{1}{n} \sum_{i = 1}^{n} x_{i} .

$\hat{\mathbb{E}}(X) \equiv \bar{x} \equiv \frac{1}{n} \sum_{i=1}^n x_i.$

\hat{E} (X | C = k) \equiv {\bar{x}}_{k} \equiv \frac{1}{n} \sum_{i = 1}^{n} x_{i} I (c_{i} = k) / {\hat{ϕ}}_{k} .

$\hat{\mathbb{E}}(X|C=k) \equiv \bar{x}_k \equiv \frac{1}{n} \sum_{i=1}^n x_i \mathbb{I}(c_i=k) \Bigg/ \hat{\phi}_k .$

\hat{S} (X) \equiv s_{X} \equiv \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}} .

$\hat{\mathbb{S}}(X) \equiv s_X \equiv \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2}.$

$X$

— Ripristina Monica
fonte

0

Pacchetto R mpmi ha la capacità di calcolare le informazioni reciproche per caso variabile misto, vale a dire continuo e discreto. Sebbene ci siano altre opzioni statistiche come il coefficiente di correlazione biseriale (punto) per essere utili qui, sarebbe utile e altamente raccomandato calcolare le informazioni reciproche poiché può rilevare associazioni diverse da quelle lineari e monotoniche.

— siyisoy
fonte

0

$X$ $Y$ $X$ $Y$

$Y$
$Y$

Va notato, tuttavia, che la correlazione punto-poliseriale è solo una generalizzazione del punto-biseriale.

Per una visione più ampia, ecco un tavolo di Olsson, Drasgow & Dorans (1982) [1].

[1]: Fonte: Olsson, U., Drasgow, F., e Dorans, NJ (1982). Il coefficiente di correlazione poliseriale. Psychometrika, 47 (3), 337–347

— Waldir Leoncio
fonte