La mediana è più giusta della media?

Di recente ho letto il consiglio che si dovrebbe generalmente usare la mediana non significa eliminare gli outlier. Esempio: il seguente articolo http://www.amazon.com/Forensic-Science-Introduction-Scientific-Investigative/product-reviews/1420064932/

ha 16 recensioni al momento:

review= c(5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 4, 4, 3, 2, 1, 1)
summary(review)  ## "ordinary" summary

Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
1.000   3.750   5.000   4.062   5.000   5.000 

Perché usano Mean l'articolo ottiene 4 stelle ma se usassero la mediana otterrebbero 5 stelle.

La mediana non è un giudice più "giusto"?

Un esperimento mostra che l'errore mediano è sempre maggiore della media. La mediana è peggio?

library(foreach)

#the overall population of bookjudgments
n<-5
p<-0.5
expected.value<-n*p
peoplesbelieve <-rbinom(10^6,n, p)

#16 ratings made for 100 books
ratings <- foreach(i=1:100, .combine=rbind) %do% sample(peoplesbelieve,16)
stat <- foreach(i=1:100, .combine=rbind) %do% c(mean=mean(ratings[i,]), median=median(ratings[i,]))

#which mean square error is bigger? Mean's or Median's?
meansqrterror.mean<-mean((stat[,"mean"]-expected.value)^2)
meansqrterror.median<-mean((stat[,"median"]-expected.value)^2)

res<-paste("mean MSE",meansqrterror.mean)
res<-paste(res, "| median MSE", meansqrterror.median)
print(res)

Il problema è che non hai davvero definito cosa significhi avere una valutazione buona o giusta. Suggerisci in un commento sulla risposta di @ Kevin che non ti piace se una recensione negativa cancella un oggetto. Ma confrontando due elementi in cui uno ha un "record perfetto" e l'altro ha una recensione negativa, forse quella differenza dovrebbe essere riflessa.

C'è un intero continuum (ad alta dimensione) tra mediana e media. È possibile ordinare i voti in base al valore, quindi prendere una media ponderata con i pesi in base alla posizione in quell'ordine. La media corrisponde a tutti i pesi uguali, la mediana corrisponde solo a una o due voci nel mezzo che ottengono un peso diverso da zero, una media ritagliata corrisponde a dare a tutti tranne la prima e l'ultima coppia dello stesso peso, ma puoi anche decidere di ponderare il su n di campioni con peso $k$$n$ oexp(-(2k-1-n)$\frac{1}{1 + (2 k - 1 - n)^2}$, per lanciare qualcosa di casuale lì dentro. Forse una media così ponderata in cui i valori anomali ottengono meno peso, ma comunque una quantità diversa da zero, potrebbero combinare buone proprietà di mediana e media?$\exp(-\frac{(2k - 1 - n)^2}{n^2})$

La risposta che ricevi dipende dalla domanda che fai.

Media e media rispondono a diverse domande. Quindi danno risposte diverse. Non è che uno sia "più giusto" di un altro. Le mediane sono spesso utilizzate con dati altamente distorti (come il reddito). Ma, anche lì, a volte la media è la migliore. E a volte non vuoi QUALSIASI misura di tendenza centrale.

Inoltre, ogni volta che dai una misura di tendenza centrale, dovresti dare una certa misura di diffusione. Gli accoppiamenti più comuni sono la deviazione standard media e l'intervallo mediano-interquartile. In questi dati, dare solo una mediana di 5 è, a mio avviso, fuorviante o, almeno, non informativo. La mediana sarebbe anche 5 se ogni singolo voto fosse un 5.

Se le uniche scelte sono numeri interi compresi tra 1 e 5, si può davvero considerare un valore anomalo?

$\alpha = 0.05$

Grubbs test for one outlier

data:  review  G = 2.0667, U = 0.6963,
p-value = 0.2153 alternative
hypothesis: lowest value 1 is an outlier

Un esperimento mostra che l'errore mediano è sempre maggiore della media.

Dipende dalla funzione di costo utilizzata.

MSE è minimizzato in media. Pertanto, se si utilizza la mediana MSE sarà sempre peggio della media.

MA, se dovessi usare un errore assoluto, la media sarebbe peggio!

Una bella spiegazione al riguardo è disponibile qui: http://www.johnmyleswhite.com/notebook/2013/03/22/modes-medians-and-means-an-unifying-perspective/

La scelta dipende dal problema e dalle preferenze. Se non vuoi che i valori anomali abbiano un grande impatto sulla posizione del "punto centrale", scegli la mediana. Se ti interessano i valori anomali, scegli media.

Solo un breve pensiero:

Se si assume che ciascun rating sia tratto da una variabile continua latente, è possibile definire la mediana di questa variabile di interesse continua sottostante come il proprio valore di interesse, piuttosto che la media di questa distribuzione sottostante. Laddove la distribuzione è simmetrica, la media e la mediana dovrebbero infine stimare le stesse quantità. Laddove la distribuzione è distorta, la mediana differirebbe dalla media. In questo caso, a mio avviso, la mediana corrisponderebbe maggiormente a ciò che pensiamo sia il valore tipico. Questo aiuta a capire perché il reddito medio e i prezzi mediani delle case sono generalmente riportati piuttosto che la media.

Tuttavia, quando si dispone di un numero limitato di valori discreti, la mediana si comporta male.

Forse, potresti usare una procedura di stima della densità e quindi prenderne la mediana o usare una mediana interpolata.

La cosa grandiosa dell'uso della mediana per le stelle è che gli utenti intelligenti (consapevoli dell'uso della mediana) non "giocheranno" al sistema:

Se un utente razionale pensa che la valutazione corretta debba essere di 4 stelle, ma attualmente ha 4,5 stelle, il modo migliore per arrivare a quattro stelle (supponendo che ci siano stati più di sei voti) è di votare 1 stella in un sistema di valutazione basato sulla media .

Mentre in un sistema basato sulla mediana, la scelta razionale dell'utente è semplicemente quella di votare esattamente il numero di stelle che l'utente pensa che il prodotto dovrebbe avere.

È un po 'l'equivalente dell'asta secondo prezzo per i sistemi di valutazione a stelle.

Diverse buone risposte lasciano ancora spazio per altri commenti.

Innanzitutto, nessuno ha obiettato all'idea che la mediana abbia lo scopo di eliminare i valori anomali, ma lo qualificherò. Il significato previsto è evidente, ma è facile che i dati reali siano più complicati. Al massimo, la mediana ha lo scopo di scartare o ignorare i valori anomali, ma anche questo non è garantito. Ad esempio, con un punteggio di 1 1 1 5 5 5 la mediana e la media concordano con 3, quindi tutto può sembrare buono. Ma un ulteriore 5 inclinerà la mediana a 5 e un ulteriore 1 inclinerà la mediana a 1. La media si sposterà di circa 0,286 in ciascun caso. Quindi la media è qui più resistente della mediana. L'esempio può essere considerato insolito, ma non è scandaloso. Il punto non è originale, naturalmente. Un posto in cui è realizzato è a Mosteller, F. e Tukey, JW 1977. Analisi e regressione dei dati. Lettura, MA: Addison-Wesley, pp. 34-35.

In secondo luogo, sono stati menzionati mezzi tagliati e l'idea merita una spinta maggiore. Media e mediana non devono necessariamente essere delle nette alternative, quindi l'analista deve scegliere (votare) l'una o l'altra. Puoi considerare tutti i possibili mezzi tagliati in base al taglio di un certo numero di valori in ciascuna coda . La tabella mostra come # il numero di valori inclusi nel calcolo della media:

  +----------------------------+
  | number    #   trimmed mean |
  |----------------------------|
  |      0   16         4.0625 |
  |      1   14       4.214286 |
  |      2   12       4.416667 |
  |      3   10            4.6 |
  |      4    8           4.75 |
  |      5    6       4.833333 |
  |      6    4              5 |
  |      7    2              5 |
  +----------------------------+

L'immagine principale qui è che puoi scegliere il tuo tasso di sconto (ignora così tanti valori in ogni coda come sospetto) come una sorta di assicurazione contro il rischio di essere fuori a causa di valori estremi. Quello che vedo è un gradiente abbastanza regolare tra media e mediana, che è previsto qui perché i possibili valori 1, 2, 3, 4, 5 sono tutti presenti nei dati. Si prevede un grande salto nella sequenza con un valore anomalo isolato.

Non vi è alcun obbligo con i mezzi tagliati di tagliare numeri uguali in ogni coda, ma non mi espanderò su questo.

In terzo luogo, l'esempio è delle recensioni di Amazon. Il contesto è sempre pertinente nel guidare il modo in cui si desidera riepilogare i dati . Nel caso delle recensioni di Amazon, la risposta migliore è leggere le recensioni! Poiché sia ​​i voti alti che quelli bassi possono essere fondati su motivi spuri (implicitamente: l'autore di questo libro è mio amico) e / o irrilevante per la tua decisione (esplicitamente: il rivenditore mi ha trattato male), per me non è ovvio implicazioni su come sintetizzare tali dati, e in effetti mostrandoti la distribuzione Amazon è al massimo informativo.

Quarto, e il più elementare ma anche fondamentale di tutti, chi ti sta facendo scegliere? A volte media e mediana dovrebbero essere entrambe riportate (e, come detto, anche un grafico di distribuzione).