R - QQPlot: come vedere se i dati sono normalmente distribuiti

L'ho tracciato dopo aver fatto un test di normalità Shapiro-Wilk. Il test ha dimostrato che è probabile che la popolazione sia normalmente distribuita. Tuttavia, come vedere questo "comportamento" su questa trama?

AGGIORNARE

Un semplice istogramma dei dati:

AGGIORNARE

Il test Shapiro-Wilk dice:

" Il test ha dimostrato che è probabile che la popolazione sia normalmente distribuita " .

No; non lo ha mostrato.

I test di ipotesi non indicano la probabilità del valore null. In effetti puoi scommettere che questo null è falso.

La trama QQ non fornisce una forte indicazione di non normalità (la trama è abbastanza semplice); c'è forse una coda sinistra leggermente più corta di quanto ti aspetteresti, ma non importa molto.

L'istogramma così com'è probabilmente non dice molto neanche; suggerisce anche una coda sinistra leggermente più corta. Ma vedi qui

La distribuzione della popolazione da cui provengono i tuoi dati non sarà esattamente normale. Tuttavia, il diagramma QQ mostra che la normalità è probabilmente un'approssimazione ragionevolmente buona.

Se la dimensione del campione non fosse troppo piccola, una mancanza di rifiuto dello Shapiro-Wilk probabilmente direbbe lo stesso.

Aggiornamento: la modifica per includere l'effettivo valore p di Shapiro-Wilk è importante perché in realtà ciò indicherebbe che si rifiuterà il null a livelli significativi tipici. Quel test indica che i tuoi dati non sono normalmente distribuiti e la lieve inclinazione indicata dai grafici è probabilmente ciò che viene raccolto dal test. Per le procedure tipiche che potrebbero assumere la normalità della variabile stessa (il test t di un campione è quello che viene in mente), a quella che sembra essere una dimensione del campione abbastanza grande, questa lieve non normalità non avrà quasi alcuna conseguenza a tutto - uno dei problemi con la bontà dei test di adattamento è che sono più propensi a rifiutare proprio quando non importa (quando la dimensione del campione è abbastanza grande da rilevare una modesta non normalità); allo stesso modo è più probabile che non riescano a rifiutare quando conta di più (quando la dimensione del campione è piccola).

Se i dati sono normalmente distribuiti, i punti nel diagramma QQ-normale si trovano su una linea diagonale diritta. È possibile aggiungere questa riga al diagramma QQ con il comando qqline(x), dove xè il vettore dei valori.

Esempi di distribuzione normale e non normale:

Distribuzione normale

set.seed(42)
x <- rnorm(100)

Il diagramma QQ-normale con la linea:

qqnorm(x); qqline(x)

Le deviazioni dalla linea retta sono minime. Questo indica una distribuzione normale.

L'istogramma:

hist(x)

Distribuzione non normale (gamma)

y <- rgamma(100, 1)

La trama QQ-normale:

qqnorm(y); qqline(y)

I punti seguono chiaramente un'altra forma rispetto alla linea retta.

L'istogramma conferma la non normalità. La distribuzione non è a forma di campana ma inclinata positivamente (ovvero, la maggior parte dei punti di dati si trova nella metà inferiore). Gli istogrammi delle distribuzioni normali mostrano la frequenza più alta al centro della distribuzione.

hist(y)

Alcuni strumenti per verificare la validità dell'assunzione di normalità in R

library(moments)
library(nortest)
library(e1071)

set.seed(777)
x <- rnorm(250,10,1)

# skewness and kurtosis, they should be around (0,3)
skewness(x)
kurtosis(x)

# Shapiro-Wilks test
shapiro.test(x)

# Kolmogorov-Smirnov test
ks.test(x,"pnorm",mean(x),sqrt(var(x)))

# Anderson-Darling test
ad.test(x)

# qq-plot: you should observe a good fit of the straight line
qqnorm(x)
qqline(x)

# p-plot: you should observe a good fit of the straight line
probplot(x, qdist=qnorm)

# fitted normal density
f.den <- function(t) dnorm(t,mean(x),sqrt(var(x)))
curve(f.den,xlim=c(6,14))
hist(x,prob=T,add=T)

Sebbene sia una buona idea verificare visivamente se l'intuizione corrisponde al risultato di alcuni test, non puoi aspettarti che sia facile ogni volta. Se le persone che cercano di rilevare il bosone di Higgs si fidassero dei loro risultati solo se fossero in grado di valutarli visivamente, avrebbero bisogno di un occhio molto acuto.

Soprattutto con grandi set di dati (e quindi, in genere con potenza crescente), le statistiche tendono a rilevare le più piccole differenze, anche quando sono difficilmente riconoscibili a occhio nudo.

Detto questo: per la normalità, la tua trama QQ dovrebbe mostrare una linea retta: direi di no. Ci sono curve chiare nelle code e anche vicino al centro c'è un po 'di confusione. Visivamente, potrei comunque essere disposto a dire (a seconda dell'obiettivo del controllo della normalità) che questi dati sono "ragionevolmente" normali, però.

Nota tuttavia: per la maggior parte degli scopi in cui si desidera verificare la normalità, è necessaria solo la normalità dei mezzi anziché la normalità delle osservazioni, quindi il teorema del limite centrale potrebbe essere sufficiente per salvarti. Inoltre: mentre la normalità è spesso un presupposto che è necessario controllare "ufficialmente", molti test hanno dimostrato di essere abbastanza insensibili al fatto che tale presupposto non sia soddisfatto.

Mi piace la versione fuori dalla macchina "R" della libreria perché fornisce non solo la tendenza centrale, ma gli intervalli di confidenza. Fornisce una guida visiva per aiutare a confermare se il comportamento dei dati è coerente con la distribuzione ipotetica.

library(car)

qqPlot(lm(prestige ~ income + education + type, data=Duncan), 
       envelope=.99)

alcuni link:

• Interpretazione del diagramma QQ
• http://exploringdatablog.blogspot.com/2011/03/many-uses-of-qq-plots.html
• https://stackoverflow.com/questions/19392066/simultaneous-null-band-for-uniform-qq-plot-in-r
• https://philmikejones.wordpress.com/2014/05/12/regression-diagnostics-r/