Una misura robusta (non parametrica) come Coefficiente di variazione - IQR / mediana o alternativa?

Per un dato set di dati, la diffusione viene spesso calcolata come deviazione standard o come IQR (intervallo inter-quartile).

Considerando che a standard deviationè normalizzato (punteggi z, ecc.) E quindi può essere utilizzato per confrontare lo spread tra due diverse popolazioni, questo non è il caso dell'IQR poiché i campioni di due diverse popolazioni potrebbero avere valori su due scale piuttosto diverse,

 e.g. 
 Pop A:  100, 67, 89, 75, 120, ...
 Pop B:  19, 22, 43, 8, 12, ...

Quello che sto cercando è una misura robusta (non parametrica) che posso usare per confrontare la variazione all'interno di diverse popolazioni.

Scelta 1: IQR / Median- questo sarebbe per analogia al coefficiente di variazione , cioè a .$\frac{\sigma}{\mu}$

Scelta 2: Range / IQR

Domanda: Qual è la misura più significativa per confrontare le variazioni tra le popolazioni? E se si tratta della scelta 1, la scelta 2 è utile per qualcosa / significativo o è una misura fondamentalmente imperfetta?

La domanda implica che la deviazione standard (SD) è in qualche modo normalizzata, quindi può essere utilizzata per confrontare la variabilità di due diverse popolazioni. Non così. Come dicevano Peter e John, questa normalizzazione viene eseguita come quando si calcola il coefficiente di variazione (CV), che equivale a SD / Media. La SD è nelle stesse unità dei dati originali. Al contrario, il CV è un rapporto senza unità.

La tua scelta 1 (IQR / Median) è analoga al CV. Come il CV, avrebbe senso solo quando i dati sono dati di rapporto. Ciò significa che zero è davvero zero. Un peso pari a zero non è un peso. Una lunghezza di zero non è lunghezza. Come contro esempio, non avrebbe senso la temperatura in C o F, poiché la temperatura di zero gradi (C o F) non significa che non ci sia temperatura. Il semplice passaggio tra l'uso della scala C o F ti darebbe un valore diverso per il CV o per il rapporto IQR / mediana, il che rende entrambi quei rapporti privi di significato.

Concordo con Peter e John sul fatto che la tua seconda idea (Range / IQR) non sarebbe molto robusta per gli outlier, quindi probabilmente non sarebbe utile.

È importante rendersi conto che il minimo e il massimo spesso non sono statistiche molto buone da usare (ad esempio, possono oscillare notevolmente da un campione all'altro e non seguire una distribuzione normale poiché, ad esempio, la media potrebbe essere dovuta al teorema del limite centrale) . Di conseguenza, l'intervallo è raramente una buona scelta se non per indicare l'intervallo di questo campione esatto . Affinché una statistica semplice, non parametrica rappresenti la variabilità, l'intervallo quartile è molto meglio. Tuttavia, mentre vedo l'analogia tra IQR / mediana e il coefficiente di variazione, non penso che questa sia probabilmente l'opzione migliore.

Potresti voler esaminare la deviazione assoluta mediana dalla mediana ( MADM ). Cioè: Sospetto che una migliore analogia non parametrica al coefficiente di variazione sarebbe MADM / mediana, piuttosto che IQR / mediana.

"Scelta 1" è ciò che si desidera se si utilizzano parametri non parametrici allo scopo comune di ridurre l'effetto dei valori anomali. Anche se lo stai usando a causa dell'inclinazione che ha anche l'effetto collaterale di avere valori estremi nella coda, potrebbero essere anomali. La tua "Scelta 2" potrebbe essere drammaticamente influenzata da valori anomali o da qualsiasi valore estremo mentre i componenti della tua prima equazione sono relativamente robusti nei loro confronti.

[Questo dipenderà un po 'dal tipo di IQR selezionato (consultare la guida R sul quantile).]

Preferisco non calcolare misure come CV perché ho quasi sempre un'origine arbitraria per la variabile casuale. Per quanto riguarda la scelta di una solida misura di dispersione, è difficile battere la differenza media di Gini, che è la media di tutti i possibili valori assoluti delle differenze tra due osservazioni. Per un calcolo efficiente vedere ad esempio la funzione rmspacchetto R. GiniMdSotto la normalità, la differenza media di Gini è 0,98 efficiente quanto la DS per la stima della dispersione.

Come @John non ho mai sentito parlare di quella definizione di coefficiente di variazione. Non lo definirei che se lo avessi usato, confonderebbe le persone.

"Qual è più utile?" dipenderà da cosa vuoi usarlo. Sicuramente la scelta 1 è più robusta per gli outlier, se sei sicuro che è quello che vuoi. Ma qual è lo scopo di confrontare le due distribuzioni? Cosa stai cercando di fare?

Un'alternativa è standardizzare entrambe le misure e quindi esaminare i riassunti.

Un altro è un diagramma QQ.

Ce ne sono anche molti altri.

Questo documento presenta due buone valide alternative per il coefficiente di variazione. Uno è l' intervallo interquartile diviso per la mediana, ovvero:

IQR / mediana = (Q3-Q1) / mediana

L'altra è la deviazione assoluta mediana divisa per la mediana, ovvero:

MAD / mediana

Li confrontano e concludono in generale che il secondo è un po 'meno variabile e probabilmente migliore per la maggior parte delle applicazioni.