La mediana è più giusta della media?


17

Di recente ho letto il consiglio che si dovrebbe generalmente usare la mediana non significa eliminare gli outlier. Esempio: il seguente articolo http://www.amazon.com/Forensic-Science-Introduction-Scientific-Investigative/product-reviews/1420064932/

ha 16 recensioni al momento:

review= c(5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 4, 4, 3, 2, 1, 1)
summary(review)  ## "ordinary" summary

Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
1.000   3.750   5.000   4.062   5.000   5.000 

Perché usano Mean l'articolo ottiene 4 stelle ma se usassero la mediana otterrebbero 5 stelle.

La mediana non è un giudice più "giusto"?


Un esperimento mostra che l'errore mediano è sempre maggiore della media. La mediana è peggio?

library(foreach)

#the overall population of bookjudgments
n<-5
p<-0.5
expected.value<-n*p
peoplesbelieve <-rbinom(10^6,n, p)

#16 ratings made for 100 books
ratings <- foreach(i=1:100, .combine=rbind) %do% sample(peoplesbelieve,16)
stat <- foreach(i=1:100, .combine=rbind) %do% c(mean=mean(ratings[i,]), median=median(ratings[i,]))

#which mean square error is bigger? Mean's or Median's?
meansqrterror.mean<-mean((stat[,"mean"]-expected.value)^2)
meansqrterror.median<-mean((stat[,"median"]-expected.value)^2)

res<-paste("mean MSE",meansqrterror.mean)
res<-paste(res, "| median MSE", meansqrterror.median)
print(res)


3
Perché avere una valutazione a 5 stelle sarebbe più giusto? Ci sono 6/16 recensioni che hanno dato un punteggio più basso ...
nico,

Ok, di quanto pensi sia la media giusta? la maggioranza ha dichiarato il suo 5. 60% in più, il resto 6/16 lo ha detto.
Roland Kofler,

2
Se dovessi dare una valutazione discreta, vedendo quelle 16 recensioni darei 4, non 5, in quanto - a me - 5 significherebbe che tutti (o la grande maggioranza) dei voti sono 5. Il 6/16 è ~ 40% , che non è esattamente trascurabile.
nico,

8
Quindi, in sostanza, penso che né la media né la mediana siano buone. Mostrare (come fa Amazon) un grafico a barre con i diversi voti è l'opzione migliore. Inoltre, è interessante sottolineare che le valutazioni 1-5 online non sono sempre così corrette ... youtube-global.blogspot.com/2009/09/…
nico,

1
@nico: il punteggio è pieno di trappole, quello che fai notare è uno degli argomenti del mio articolo qui: objektorient.blogspot.com/2010/09/…
Roland Kofler

Risposte:


26

Il problema è che non hai davvero definito cosa significhi avere una valutazione buona o giusta. Suggerisci in un commento sulla risposta di @ Kevin che non ti piace se una recensione negativa cancella un oggetto. Ma confrontando due elementi in cui uno ha un "record perfetto" e l'altro ha una recensione negativa, forse quella differenza dovrebbe essere riflessa.

C'è un intero continuum (ad alta dimensione) tra mediana e media. È possibile ordinare i voti in base al valore, quindi prendere una media ponderata con i pesi in base alla posizione in quell'ordine. La media corrisponde a tutti i pesi uguali, la mediana corrisponde solo a una o due voci nel mezzo che ottengono un peso diverso da zero, una media ritagliata corrisponde a dare a tutti tranne la prima e l'ultima coppia dello stesso peso, ma puoi anche decidere di ponderare il su n di campioni con peso 1kn oexp(-(2k-1-n)211+(2k1n)2, per lanciare qualcosa di casuale lì dentro. Forse una media così ponderata in cui i valori anomali ottengono meno peso, ma comunque una quantità diversa da zero, potrebbero combinare buone proprietà di mediana e media?exp((2k1n)2n2)


22

La risposta che ricevi dipende dalla domanda che fai.

Media e media rispondono a diverse domande. Quindi danno risposte diverse. Non è che uno sia "più giusto" di un altro. Le mediane sono spesso utilizzate con dati altamente distorti (come il reddito). Ma, anche lì, a volte la media è la migliore. E a volte non vuoi QUALSIASI misura di tendenza centrale.

Inoltre, ogni volta che dai una misura di tendenza centrale, dovresti dare una certa misura di diffusione. Gli accoppiamenti più comuni sono la deviazione standard media e l'intervallo mediano-interquartile. In questi dati, dare solo una mediana di 5 è, a mio avviso, fuorviante o, almeno, non informativo. La mediana sarebbe anche 5 se ogni singolo voto fosse un 5.


5
Il tuo punto su una misura di diffusione è una chiave qui. Questo è uno dei problemi che continuano a emergere in questa discussione, sotto altri nomi, e si lega anche alla discussione di Erik P sugli schemi di ponderazione.
Wayne,

8

Se le uniche scelte sono numeri interi compresi tra 1 e 5, si può davvero considerare un valore anomalo?

α=0.05

Grubbs test for one outlier

data:  review  G = 2.0667, U = 0.6963,
p-value = 0.2153 alternative
hypothesis: lowest value 1 is an outlier

perché solo una persona nel tuo esempio può cambiare radicalmente il risultato. se la persona credesse che il libro avesse un argomento diverso, la sua colpa cambierà la valutazione
Roland Kofler,

2
L'opinione di qualcuno è un difetto? Direi che il fallimento sta cercando di trarre conclusioni significative basate su una singola statistica da solo alcuni punti dati. Come notato da @nico sopra, Amazon mostra un grafico a barre di tutte le valutazioni.
kmm,

5

Un esperimento mostra che l'errore mediano è sempre maggiore della media.

Dipende dalla funzione di costo utilizzata.

MSE è minimizzato in media. Pertanto, se si utilizza la mediana MSE sarà sempre peggio della media.

MA, se dovessi usare un errore assoluto, la media sarebbe peggio!

Una bella spiegazione al riguardo è disponibile qui: http://www.johnmyleswhite.com/notebook/2013/03/22/modes-medians-and-means-an-unifying-perspective/

La scelta dipende dal problema e dalle preferenze. Se non vuoi che i valori anomali abbiano un grande impatto sulla posizione del "punto centrale", scegli la mediana. Se ti interessano i valori anomali, scegli media.


4

Solo un breve pensiero:

Se si assume che ciascun rating sia tratto da una variabile continua latente, è possibile definire la mediana di questa variabile di interesse continua sottostante come il proprio valore di interesse, piuttosto che la media di questa distribuzione sottostante. Laddove la distribuzione è simmetrica, la media e la mediana dovrebbero infine stimare le stesse quantità. Laddove la distribuzione è distorta, la mediana differirebbe dalla media. In questo caso, a mio avviso, la mediana corrisponderebbe maggiormente a ciò che pensiamo sia il valore tipico. Questo aiuta a capire perché il reddito medio e i prezzi mediani delle case sono generalmente riportati piuttosto che la media.

Tuttavia, quando si dispone di un numero limitato di valori discreti, la mediana si comporta male.

Forse, potresti usare una procedura di stima della densità e quindi prenderne la mediana o usare una mediana interpolata.


2

La cosa grandiosa dell'uso della mediana per le stelle è che gli utenti intelligenti (consapevoli dell'uso della mediana) non "giocheranno" al sistema:

Se un utente razionale pensa che la valutazione corretta debba essere di 4 stelle, ma attualmente ha 4,5 stelle, il modo migliore per arrivare a quattro stelle (supponendo che ci siano stati più di sei voti) è di votare 1 stella in un sistema di valutazione basato sulla media .

Mentre in un sistema basato sulla mediana, la scelta razionale dell'utente è semplicemente quella di votare esattamente il numero di stelle che l'utente pensa che il prodotto dovrebbe avere.

È un po 'l'equivalente dell'asta secondo prezzo per i sistemi di valutazione a stelle.


Argomento interessante, analogo dell'uso delle funzioni di punteggio appropriate
kjetil b halvorsen,

Non proprio. La mia risposta mostra esempi in cui un nuovo valore alto o basso sposta la mediana.
Nick Cox,

Non proprio cosa ? Bella risposta, a proposito.
Stephane Bersier,

La strategia razionale potrebbe essere quella di votare estremo. Naturalmente, c'è sempre una domanda su quanto si sa sui voti degli altri.
Nick Cox,

@NickCox solo se vuoi davvero che l'estremo sia la valutazione corretta. Quindi credo che ciò che ho scritto funzioni in tutti i casi. E non è in contraddizione con la tua risposta.
Stephane Bersier,

1

Diverse buone risposte lasciano ancora spazio per altri commenti.

Innanzitutto, nessuno ha obiettato all'idea che la mediana abbia lo scopo di eliminare i valori anomali, ma lo qualificherò. Il significato previsto è evidente, ma è facile che i dati reali siano più complicati. Al massimo, la mediana ha lo scopo di scartare o ignorare i valori anomali, ma anche questo non è garantito. Ad esempio, con un punteggio di 1 1 1 5 5 5 la mediana e la media concordano con 3, quindi tutto può sembrare buono. Ma un ulteriore 5 inclinerà la mediana a 5 e un ulteriore 1 inclinerà la mediana a 1. La media si sposterà di circa 0,286 in ciascun caso. Quindi la media è qui più resistente della mediana. L'esempio può essere considerato insolito, ma non è scandaloso. Il punto non è originale, naturalmente. Un posto in cui è realizzato è a Mosteller, F. e Tukey, JW 1977. Analisi e regressione dei dati. Lettura, MA: Addison-Wesley, pp. 34-35.

In secondo luogo, sono stati menzionati mezzi tagliati e l'idea merita una spinta maggiore. Media e mediana non devono necessariamente essere delle nette alternative, quindi l'analista deve scegliere (votare) l'una o l'altra. Puoi considerare tutti i possibili mezzi tagliati in base al taglio di un certo numero di valori in ciascuna coda . La tabella mostra come # il numero di valori inclusi nel calcolo della media:

  +----------------------------+
  | number    #   trimmed mean |
  |----------------------------|
  |      0   16         4.0625 |
  |      1   14       4.214286 |
  |      2   12       4.416667 |
  |      3   10            4.6 |
  |      4    8           4.75 |
  |      5    6       4.833333 |
  |      6    4              5 |
  |      7    2              5 |
  +----------------------------+

L'immagine principale qui è che puoi scegliere il tuo tasso di sconto (ignora così tanti valori in ogni coda come sospetto) come una sorta di assicurazione contro il rischio di essere fuori a causa di valori estremi. Quello che vedo è un gradiente abbastanza regolare tra media e mediana, che è previsto qui perché i possibili valori 1, 2, 3, 4, 5 sono tutti presenti nei dati. Si prevede un grande salto nella sequenza con un valore anomalo isolato.

Non vi è alcun obbligo con i mezzi tagliati di tagliare numeri uguali in ogni coda, ma non mi espanderò su questo.

In terzo luogo, l'esempio è delle recensioni di Amazon. Il contesto è sempre pertinente nel guidare il modo in cui si desidera riepilogare i dati . Nel caso delle recensioni di Amazon, la risposta migliore è leggere le recensioni! Poiché sia ​​i voti alti che quelli bassi possono essere fondati su motivi spuri (implicitamente: l'autore di questo libro è mio amico) e / o irrilevante per la tua decisione (esplicitamente: il rivenditore mi ha trattato male), per me non è ovvio implicazioni su come sintetizzare tali dati, e in effetti mostrandoti la distribuzione Amazon è al massimo informativo.

Quarto, e il più elementare ma anche fondamentale di tutti, chi ti sta facendo scegliere? A volte media e mediana dovrebbero essere entrambe riportate (e, come detto, anche un grafico di distribuzione).

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.