Calcolo del 95 ° percentile: confronto tra gli approcci di distribuzione normale, R Quantile ed Excel

Stavo cercando di calcolare il 95o percentile sul seguente set di dati. Mi sono imbattuto in alcuni riferimenti online di farlo.

Approccio 1: basato su dati di esempio

Il primo mi dice di ottenere il TOP 95 Percentset di dati e quindi scegliere il MINo AVGdel set risultante. Farlo per il seguente set di dati mi dà:

AVG: 29162
MIN: 0

Approccio 2: ipotizza una distribuzione normale

Il secondo afferma che il 95 ° percentile è circa due deviazioni standard sopra la media (che ho capito) e ho eseguito:

AVG(Column) + STDEV(Column)*1.65: 67128.542697973

Approccio 3: R Quantile

Ho usato Rper ottenere il 95 ° percentile:

> quantile(data$V1, 0.95)
79515.2

Approccio 4: Approccio di Excel

Alla fine, mi sono imbattuto in questo , che spiega come Excel lo fa. Il riepilogo del metodo è il seguente:

Dato un insieme di Nvalori ordinati {v[1], v[2], ...}e un requisito per calcolare il pthpercentile, procedere come segue:

Calcolare l = p(N-1) + 1
Dividi lin componenti interi e decimali, ad esl = k + d
Calcola il valore richiesto come V = v[k] + d(v[k+1] - v[k])

Questo metodo mi dà 79515.2

Nessuno dei valori corrisponde anche se confido che il valore di R sia quello corretto (l'ho osservato anche dal grafico ecdf). Il mio obiettivo è calcolare manualmente il 95 ° percentile (usando solo AVGe STDEVfunzioni) da un determinato set di dati e non sono sicuro di cosa stia succedendo qui. Qualcuno può dirmi dove sto sbagliando?

r dataset quantiles sql

— Leggenda
fonte

Il primo approccio deve essere riscritto: potrebbe essere "prendere il 5% superiore dei valori e trovarne il minimo", in questo caso 79586, oppure "prendere il 95% inferiore e trovare il massimo di essi", in questo caso 79535.

— Henry,

Il primo approccio è completamente sbagliato e secondo me non ha nulla a che fare con il 95 ° percentile.

Il secondo approccio sembra basarsi sul presupposto che i dati siano normalmente distribuiti, ma dovrebbe essere circa 1.645 deviazioni standard sopra la media, non 2 deviazioni standard, e sembra che tu l'abbia capito. Questo è un metodo scadente se i dati non sono normalmente distribuiti.

Se vuoi elaborare tu stesso il 95 ° percentile, ordina i numeri dal più piccolo al più grande e trova un valore tale che il 95% dei dati sia inferiore a quel valore. R utilizza probabilmente una sorta di interpolazione tra i punti dati. Una semplice approssimazione potrebbe essere sort(data$V1)[0.95*length(data$V1)].

Modificato dopo il commento di @Macro.

— mark999
fonte

la tua soluzione richiederebbe data$V1essere preordinata. Più in generale, sort(data$V1)[.95*length(data$V1)]sarebbe l'approssimazione che desideri. Tuttavia, se .95*length(data$V1)non è un numero intero, si limiterebbe ad arrotondare al numero intero più vicino durante l'indicizzazione sort(data$V1), quindi questa approssimazione sarebbe sempre sottovalutata in quel caso.

— Macro,

Grazie per il tuo commento. Conoscevo la sottovalutazione, motivo per cui l'ho definita una semplice approssimazione, ma ho dimenticato di includere l'ordinamento. Modificherò la risposta.

— mark999,

Ecco alcuni punti per integrare la risposta di @ mark999.

Wikipedia ha un articolo sui percentili in cui si nota che non esiste una definizione standard di un percentile. Tuttavia, vengono discusse diverse formule.
Crawford, J .; Garthwaite, P. & Slick, D. Sulle norme percentili in neuropsicologia: proposti standard di reporting e metodi per quantificare l'incertezza sui gradi percentili dei punteggi dei test Neuropsicologo clinico, Psychology Press, 2009, 23, 1173-1195 ( PDF GRATUITO ) calcolo dei percentili in un contesto normativo di psicologia.

Quanto segue esplora alcune cose in R:

Ottieni dati ed esamina la funzione quantica R

>  x <- c(93150, 93116, 93096, etc... [ABBREVIATED INPUT]
> help(quantile) # Note the 9 quantile algorithms
> rquantileest <- sapply(1:9, function(TYPE) quantile(x, .95, type=TYPE)) 
> rquantileest
     95%      95%      95%      95%      95%      95% 
79535.00 79535.00 79535.00 79524.00 79547.75 79570.70 
     95%      95%      95% 
79526.20 79555.40 79553.49 
> sapply(rquantileest, function(X) mean(x <= X))
      95%       95%       95%       95%       95% 
0.9501859 0.9501859 0.9501859 0.9494424 0.9501859 
      95%       95%       95%       95% 
0.9501859 0.9494424 0.9501859 0.9501859

help(quantile) mostra che R ha nove diversi algoritmi di stima quantile.
L'altro output mostra il valore stimato per i 9 algoritmi e la proporzione dei dati che è inferiore o uguale al valore stimato (ovvero, tutti i valori sono vicini al 95%).

Confronta con l'ipotesi di una distribuzione normale

> # Estimate of the 95th percentile if the data was normally distributed
> qnormest <- qnorm(.95, mean(x), sd(x))
> qnormest
[1] 67076.4
> mean(x <= qnormest)
[1] 0.8401487

Un valore molto diverso è stimato per il 95 ° percentile di una distribuzione normale in base alla media del campione e alla deviazione standard.
Il valore stimato si aggira intorno all'84 ° percentile dei dati del campione.
Il diagramma seguente mostra che i dati non sono chiaramente distribuiti normalmente, e quindi le stime basate sul presupposto che la normalità sarà molto lontana.

plot (densità (x))

inserisci qui la descrizione dell'immagine

— Jeromy Anglim
fonte

ha fornito una risposta molto bella. Vorrei solo aggiungere che mi sembra che nella maggior parte dei casi, le differenze tra le 9 stime sono così piccole da avere poca importanza.

— Peter Flom - Ripristina Monica

L'articolo di Wikipedia sui quantili è migliore di quello sui percentili

— Henry,

Qualcosa non va qui poiché R dovrebbe fornire numeri compresi tra 75500 e 75600. Alcuni dei 1345 valori si sono persi?

— Henry,

@Henry grazie per quello. Nel mio tentativo di ridurre al minimo il numero di righe visualizzate per l'input sulla domanda, ho inserito il comando c (...) su solo un paio di righe. Di conseguenza penso di aver riscontrato una qualche forma di limite di lunghezza della riga di comando che stava tagliando alcuni dati. Non avevo mai visto questo problema prima perché di solito avrei tali dati in un file separato. Ho aggiornato il mio script e l'output in modo che il comando c (...) ora si estenda su 120 righe; vedi gist gist.github.com/1102127

— Jeromy Anglim,

+1 Grazie per le informazioni aggiuntive. Proprio quando lo hai pubblicato, per curiosità stavo guardando la distribuzione usando un diagramma QQ e ho raggiunto la stessa conclusione. Grazie per il tuo tempo.

— Legenda,