Quali test devo utilizzare per confermare che i residui sono normalmente distribuiti?


20

Ho alcuni dati che sembrano tracciare un grafico dei residui rispetto al tempo quasi normale, ma voglio esserne sicuro. Come posso verificare la normalità dei residui di errore?


3
Strettamente correlati: test di normalità appropriati per piccoli campioni . Qui ci sono un paio di altre domande di possibile interesse: is-normality-testing-essenzialmente-inutile , per una discussione sul valore del test di normalità e what-if-residuals-are-normalmente-distribut-but-y-is- no , per una discussione / chiarimento del senso in cui la normalità è un'ipotesi di un modello lineare.
gung - Ripristina Monica

Si può vedere un fraintendimento molto comune dell'essenza di un test di Shapiro Wilk! Il significato corretto a favore di H0 è che H0 non può essere respinto, ma ATTENZIONE! Non significa automaticamente "i dati sono normalmente distribuiti" !!! Il risultato alternativo è "I dati non vengono normalmente distribuiti".
Joe Hallenbeck,

Risposte:


28
  1. Nessun test ti dirà che i tuoi residui sono normalmente distribuiti. In realtà, si può attendibilmente scommettere che essi sono non .

  2. I test di ipotesi non sono generalmente una buona idea come controlli sui tuoi presupposti. L'effetto di non normalità sulla vostra deduzione non è generalmente una funzione della dimensione del campione *, ma il risultato di un test di significatività è . Una piccola deviazione dalla normalità sarà evidente a grandi dimensioni del campione anche se la risposta alla domanda di interesse reale ("in che misura questo ha influito sulla mia inferenza?") Potrebbe essere "quasi del tutto". Di conseguenza, una grande deviazione dalla normalità con una piccola dimensione del campione potrebbe non avvicinarsi alla significatività.

    * (aggiunto in modifica) - in realtà è un'affermazione troppo debole. L'impatto della non normalità in realtà diminuisce con le dimensioni del campione praticamente ogni volta che il CLT e il teorema di Slutsky manterranno, mentre la capacità di rifiutare la normalità (e presumibilmente evitare le procedure della teoria normale) aumenta con le dimensioni del campione ... quindi proprio quando sei più in grado di identificare la non normalità che tende ad essere quando non importa comunque ... e il test non è di aiuto quando effettivamente conta, in piccoli campioni.

    bene, almeno per quanto riguarda il livello di significatività. Il potere può comunque essere un problema, se stiamo prendendo in considerazione campioni di grandi dimensioni come qui, anche questo potrebbe essere un problema minore.

  3. Ciò che si avvicina alla misurazione della dimensione dell'effetto è una diagnostica (un display o una statistica) che misura il grado di non normalità in qualche modo. Un diagramma QQ è una visualizzazione ovvia, e un diagramma QQ della stessa popolazione con una dimensione del campione e con una dimensione del campione diversa sono almeno entrambe le stime rumorose della stessa curva - mostrando all'incirca la stessa "non normalità"; dovrebbe almeno essere approssimativamente monotonicamente correlato alla risposta desiderata alla domanda di interesse.

Se devi usare un test, Shapiro-Wilk è probabilmente buono come qualsiasi altra cosa (il test Chen-Shapiro è in genere un po 'meglio su alternative di interesse comune, ma è più difficile trovare implementazioni di) - ma sta rispondendo a una domanda che conosco già la risposta a; ogni volta che non si rifiuta, si sta dando una risposta, si può essere sicuri che sia sbagliato.


4
+1 Glen_b perché ottieni diversi punti positivi. Tuttavia non sarei così negativo sull'uso della bontà dei test di idoneità. Quando la dimensione del campione è piccola o moderata, il test non avrà potenza sufficiente per rilevare lievi deviazioni dalla distribuzione normale. Differenze molto grandi potrebbero comportare valori p molto piccoli (ad es. 0,0001 o inferiore). Questi possono essere indicazioni più formali dell'osservazione visiva di un diagramma qq ma comunque molto utili. Si possono anche esaminare le stime di asimmetria e curtosi. È in campioni molto grandi che la bontà dei test di adattamento è problematica.
Michael R. Chernick,

4
In questi casi verranno rilevate piccole partenze. Fintanto che l'analista riconosce che in pratica la distribuzione della popolazione non sarà esattamente normale e rifiutare l'ipotesi nulla significa solo che la sua distribuzione è leggermente non normale, non andrà fuori strada. L'investigatore dovrebbe quindi giudicare se stesso se l'assunzione della normalità è una preoccupazione o meno data la leggera partenza che il test rileva. Shapiro-Wilk è in realtà uno dei test più potenti contro l'ipotesi della normalità.
Michael R. Chernick,

+1, mi piace soprattutto il punto 2; in tal senso, vale la pena notare che anche se l'inclinazione o la curtosi sono abbastanza cattive, con una N molto grande, il Teorema del limite centrale ti coprirà, quindi è il momento in cui hai meno bisogno della normalità.
gung - Ripristina Monica

3
@gung ci sono alcune circostanze in cui conta una buona approssimazione alla normalità. Ad esempio, durante la costruzione di intervalli di previsione utilizzando ipotesi normali. Ma farei ancora più affidamento su una diagnostica (una che mostra quanto non sia normale) che su un test
Glen_b -Reinstate Monica

Il tuo punto sugli intervalli di previsione è buono.
gung - Ripristina Monica

8

Il test Shapiro-Wilk è una possibilità.

Test di Shapiro-Wilk

Questo test è implementato in quasi tutti i pacchetti software statistici. L'ipotesi nulla è che i residui siano normalmente distribuiti, quindi un piccolo valore p indica che dovresti rifiutare il valore nullo e concludere che i residui non sono normalmente distribuiti.

Si noti che se la dimensione del campione è grande, si rifiuta quasi sempre, quindi la visualizzazione dei residui è più importante.


È "Wilk" non "Wilks".
Michael R. Chernick,

1

Da Wikipedia:

I test di normalità univariata includono il test K-quadrato di D'Agostino, il test Jarque – Bera, il test Anderson – Darling, il criterio Cramér – von Mises, il test Lilliefors per la normalità (a sua volta un adattamento del test Kolmogorov – Smirnov), Test di Shapiro-Wilk, test chi-quadrato di Pearson e test di Shapiro-Francia. Un articolo del 2011 del Journal of Statistical Modeling and Analytics [1] conclude che Shapiro-Wilk ha il miglior potere per un determinato significato, seguito da vicino da Anderson-Darling quando si confrontano Shapiro-Wilk, Kolmogorov-Smirnov, Lilliefors e Anderson- Test cari.


1
-1: potresti voler includere un link alla pagina di Wikipedia, rimuovere la nota ("[1]") e usare la funzione blockquote.
Bernd Weiss,

1
L'avvertimento che Glen_b dà è importante da tenere a mente ogni volta che viene usato uno di questi test di bontà di adattamento. Penso che il risultato che tu chiacchieri su Shapiro-Wilk non sia così generale come pensi che sia. Non credo che esista un test globale più potente per la normalità.
Michael R. Chernick,

2
n1

@GregSnow Non ho tempo di esaminare a fondo il tuo pacchetto e potrei non essere abbastanza esperto con R per seguire tutto. Stai dicendo che esiste un test più potente a livello globale per la normalità o stai dicendo che fornisci esempi da mostrare quando vari test sono più potenti e quindi che non esiste uno globale. Ho i miei dubbi sul fatto che ne esista uno e non credo che Shapiro-Wilk lo sarebbe. Se stai affermando che ne esiste una, vorrei vedere una prova matematica o un riferimento a una.
Michael R. Chernick,

1
@MichaelChernick, la mia affermazione è che il mio test avrà tanta potenza o più (avere o più probabilità di rifiutare l'ipotesi nulla dei dati provenienti da una normalità esatta) di qualsiasi altro test di normalità. Il codice R non è difficile da seguire, il codice principale per il calcolo del valore p è "tmp.p <- if (any (is.rational (x))) {0", la prova della sua potenza dovrebbe essere ovvia ( Ho solo affermato che è potente e la documentazione può essere utile, non che il test stesso sia utile, google per "l'aforisma di Cochrane").
Greg Snow,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.