Perché la correlazione non è molto utile quando una delle variabili è categorica?

Questo è un po 'un controllo dell'intestino, per favore aiutatemi a vedere se sto fraintendendo questo concetto, e in che modo.

Ho una comprensione funzionale della correlazione ma mi sento un po 'afferrato per spiegare con sicurezza i principi alla base di quella comprensione funzionale.

Da quanto ho capito, la correlazione statistica (al contrario dell'uso più generale del termine) è un modo per comprendere due variabili continue e il modo in cui fanno o non tendono ad aumentare o diminuire in modo simile.

Il motivo per cui non è possibile eseguire correlazioni su, per esempio, una variabile continua e una variabile categorica è perché non è possibile calcolare la covarianza tra le due, poiché la variabile categorica per definizione non può produrre una media e quindi non può nemmeno entrare nella prima fasi dell'analisi statistica.

È giusto?

Correlazione è standardizzata covarianza, cioè la covarianza di $x$ ed $y$ diviso per la deviazione standard di $x$ ed $y$ . Permettetemi di illustrarlo.

In parole povere, le statistiche possono essere riassunte come modelli adeguati ai dati e valutare quanto bene il modello descriva quei punti di dati ( Risultato = Modello + Errore ). Un modo per farlo è calcolare le somme di deviazioni o residui (res) dal modello:

$res= \sum(x_{i}-\bar{x})$

Molti calcoli statistici si basano su questo, incl. il coefficiente di correlazione (vedi sotto).

Ecco un set di dati di esempio creato in R(i residui sono indicati come linee rosse e i loro valori sono aggiunti accanto a loro):

X <- c(8,9,10,13,15)  
Y <- c(5,4,4,6,8)

X=11Y=5.4$SS$

$SS = \sum(x_i-\bar{x})(x_i-\bar{x}) = \sum(x_i-\bar{x})^2$

$n-1$$s^2$

$s^2 = \frac{SS}{n-1} = \frac{\sum(x_i-\bar{x})(x_i-\bar{x})}{n-1} = \frac{\sum(x_i-\bar{x})^2}{n-1}$

Per comodità, è possibile prendere la radice quadrata della varianza del campione, nota come deviazione standard del campione:

$s=\sqrt{s^2}=\sqrt{\frac{SS}{n-1}}=\sqrt{\frac{\sum(x_i-\bar{x})^2}{n-1}}$

Ora, la covarianza valuta se due variabili sono correlate tra loro. Un valore positivo indica che quando una variabile si discosta dalla media, l'altra variabile si discosta nella stessa direzione.

$cov_{x,y}= \frac{\sum(x_i-\bar{x})(y_i-\bar{y})}{n-1}$

$r$

$r=\frac{cov_{x,y}}{s_x s_y} = \frac{\sum(x_1-\bar{x})(y_i-\bar{y})}{(n-1) s_x s_y}$

In questo caso, il coefficiente di correlazione di Pearson è $r=0.87$, che può essere considerata una forte correlazione (sebbene questa sia anche relativa a seconda del campo di studio). Per verificare ciò, ecco un altro grafico con Xsull'asse xe sull'asse Yy:

Per farla breve, sì, il tuo feeling è giusto ma spero che la mia risposta possa fornire un contesto.

Hai (quasi) ragione. La covarianza (e quindi anche la correlazione) può essere calcolata solo tra variabili numeriche. Ciò include variabili continue ma anche variabili numeriche discrete.

Le variabili categoriali potrebbero essere utilizzate per calcolare la correlazione solo dato un codice numerico utile per loro, ma questo non è probabile che ottenga un vantaggio pratico - forse potrebbe essere utile per alcune variabili categoriali su due livelli, ma è probabile che altri strumenti siano più adatti.

Non c'è assolutamente nulla di sbagliato nel calcolo delle correlazioni in cui una delle variabili è categorica. Una forte correlazione positiva implicherebbe che l'attivazione (o la disattivazione della variabile categoriale in base alla convenzione) provoca un aumento della risposta. Ad esempio, ciò potrebbe accadere quando si calcola una regressione logistica in cui le variabili sono categoriche: prevedere la possibilità di un attacco cardiaco date le comorbilità dei pazienti come il diabete e il bmi. In questo caso il BMI avrebbe una correlazione molto forte con gli attacchi di cuore. Concluderesti che non è utile?