Correlazione di Pearson o Spearman con dati non normali

Ricevo questa domanda abbastanza frequentemente nel mio lavoro di consulenza statistica, che ho pensato di pubblicarla qui. Ho una risposta, che è pubblicata di seguito, ma ero desideroso di sentire ciò che gli altri hanno da dire.

Domanda: se hai due variabili che non sono normalmente distribuite, dovresti usare il rho di Spearman per la correlazione?

La correlazione di Pearson è una misura della relazione lineare tra due variabili casuali continue. Non assume la normalità anche se assume varianze finite e covarianza finita. Quando le variabili sono normali bivariate, la correlazione di Pearson fornisce una descrizione completa dell'associazione.

La correlazione di Spearman si applica ai ranghi e quindi fornisce una misura di una relazione monotonica tra due variabili casuali continue. È anche utile con i dati ordinali ed è robusto per i valori anomali (a differenza della correlazione di Pearson).

La distribuzione di entrambi i coefficienti di correlazione dipenderà dalla distribuzione sottostante, sebbene entrambi siano asintoticamente normali a causa del teorema del limite centrale.

Non dimenticare la tau di Kendall ! Roger Newson ha sostenuto per la superiorità della Kendall τ _un corso di Spearman correlazione R _S come misura di rango a base di correlazione in un documento il cui testo completo è ora liberamente disponibile on-line:

Newson R. Parametri dietro statistiche "non parametriche": tau di Kendall, D di Somers e differenze mediane . Stata Journal 2002; 2 (1): 45-64.

Egli fa riferimento (su p47) Kendall & Gibbons (1990) a sostenere che" ... gli intervalli di confidenza per di Spearman R _S sono meno affidabili e meno interpretabile di intervalli di confidenza per di Kendall T si -parametri, ma il campione di Spearman r _S è molto più facilmente calcolato senza un computer "(che ovviamente non ha più molta importanza). Sfortunatamente non ho un facile accesso a una copia del loro libro:

Kendall, MG e JD Gibbons. 1990. Metodi di correlazione dei ranghi . 5a ed. Londra: Griffin.

Da una prospettiva applicata, sono più interessato a scegliere un approccio che sintetizzi la relazione tra due variabili in un modo che si allinea alla mia domanda di ricerca. Penso che determinare un metodo per ottenere errori standard e valori p accurati sia una domanda che dovrebbe venire seconda. Anche se hai scelto di non fare affidamento sugli asintotici, c'è sempre la possibilità di avviare il bootstrap o modificare i presupposti distributivi.

Come regola generale, preferisco la correlazione di Pearson perché (a) generalmente si allinea maggiormente con i miei interessi teorici; (b) consente una comparabilità più diretta dei risultati tra gli studi, poiché la maggior parte degli studi nella mia zona riporta la correlazione di Pearson; e (c) in molte impostazioni esiste una differenza minima tra i coefficienti di correlazione di Pearson e Spearman.

Tuttavia, ci sono situazioni in cui penso che la correlazione di Pearson su variabili grezze sia fuorviante.

• Valori erratici: i valori anomali possono avere una grande influenza sulle correlazioni di Pearson. Molti valori anomali nelle impostazioni applicate riflettono errori di misurazione o altri fattori che il modello non intende generalizzare. Un'opzione è rimuovere tali valori anomali. Gli outlier univariati non esistono con il rho di Spearman perché tutto viene convertito in gradi. Pertanto, Spearman è più robusto.
• Variabili altamente distorte: quando si correlano variabili distorte, in particolare variabili altamente distorte, un registro o qualche altra trasformazione spesso rende più chiara la relazione di base tra le due variabili (ad esempio, le dimensioni del cervello in base al peso corporeo degli animali). In tali contesti può essere che la metrica non sia comunque la metrica più significativa. Il rho di Spearman ha un effetto simile alla trasformazione convertendo entrambe le variabili in gradi. Da questa prospettiva, il rho di Spearman può essere visto come un approccio rapido e sporco (o più positivamente, è meno soggettivo) per cui non devi pensare a trasformazioni ottimali.

In entrambi i casi sopra, consiglierei ai ricercatori di considerare le strategie di aggiustamento (ad es. Trasformazioni, rimozione / aggiustamento anomalo) prima di applicare la correlazione di Pearson o di usare il rho di Spearman.

aggiornato

La domanda ci chiede di scegliere tra il metodo di Pearson e quello di Spearman quando si mette in discussione la normalità . Limitato a questa preoccupazione, penso che il seguente documento dovrebbe informare la decisione di chiunque:

• Sugli effetti della non normalità sulla distribuzione del coefficiente di correlazione momento-prodotto campione (Kowalski, 1975)

$r$

$r$

Se viene chiesto di scegliere tra uno di Spearman e Pearson quando viene violata la normalità, vale la pena sostenere l'alternativa gratuita per la distribuzione, ovvero il metodo di Spearman.

In precedenza ..

La correlazione di Spearman è una misura di correlazione basata sul rango; è non parametrico e non poggia su un'ipotesi di normalità.

La distribuzione campionaria per la correlazione di Pearson assume la normalità; in particolare ciò significa che sebbene sia possibile calcolarlo, le conclusioni basate sui test di significatività potrebbero non essere valide.

Come Rob sottolinea nei commenti, con un grande campione questo non è un problema. Tuttavia, con piccoli campioni, in cui viene violata la normalità, dovrebbe essere preferita la correlazione di Spearman.

Aggiornamento Rimuginando sui commenti e sulle risposte, mi sembra che ciò si riduca al solito dibattito tra test non parametrici e parametrici. Gran parte della letteratura, ad esempio in biostatistica, non tratta campioni di grandi dimensioni. In genere non sono sprezzante nel fare affidamento sugli asintotici. Forse è giustificato in questo caso, ma questo non è prontamente evidente per me.