ANOVA: test sull'ipotesi di normalità per molti gruppi con pochi campioni per gruppo

Supponiamo la seguente situazione:

abbiamo un numero elevato (ad es. 20) con gruppi di piccole dimensioni (ad es. n = 3). Ho notato che se generi valori dalla distribuzione uniforme, i residui appariranno approssimativamente normali anche se la distribuzione dell'errore è uniforme. Il seguente codice R dimostra questo comportamento:

n.group = 200
n.per.group = 3

x <- runif(n.group * n.per.group)
gr <- as.factor(rep(1:n.group, each = n.per.group))
means <- tapply(x, gr, mean)
x.res <- x - means[gr]
hist(x.res)

Se guardo il residuo di un campione in un gruppo di tre, il motivo del comportamento è chiaro:

$r_1 = x_1 - \text{mean}(x1, x2, x3) = x1 - \frac{x_1+x_2+x_3}{3}=\frac{2}{3}x_1 - x_2 - x_3.$

inserisci qui la descrizione dell'immagine

Poiché è una somma di variabili casuali con una deviazione standard non approssimativamente diversa, la sua distribuzione è un po 'più vicina alla distribuzione normale rispetto ai singoli termini. $r_1$

Ora supponiamo che io abbia la stessa situazione con dati reali invece di dati simulati. Voglio valutare se valgono le ipotesi ANOVA relative alla normalità. Le procedure più raccomandate raccomandano l'ispezione visiva dei residui (ad es. Diagramma QQ) o un test di normalità sui residui. Come il mio esempio sopra, questo non è davvero ottimale per gruppi di piccole dimensioni.

Esiste un'alternativa migliore quando ho molti gruppi di piccole dimensioni?

anova normal-distribution small-sample

— Erik
fonte

Per diversi motivi sembra che questo non sia un problema. In primo luogo, i tuoi residui appariranno uniformi: guarda un istogramma per un numero enorme di gruppi per vedere questo. In secondo luogo, la normalità dei residui è di scarsa importanza per la maggior parte delle analisi; ciò che conta è la normalità approssimativa delle distribuzioni campionarie. Quale aspetto speciale della tua applicazione, quindi, ti fa supporre che ci sia qualche problema reale?

— whuber

a) i miei residui non appariranno uniformi. Ho verificato questo per un numero di gruppi (non campioni per gruppo) da 20 a 20000. Ho allegato un esempio alla domanda; sembra un qualcosa tra l'uniforme e il normale, con una tendenza distinta alla normalità. b) So che si tratta della normalità approssimativa della distribuzione campionaria. Questo è l'intero punto della domanda poiché i residui sembreranno normali, ma la distribuzione del campionamento non lo è. Quindi non posso usare i residui per testare le proprietà della distribuzione di campionamento.

— Erik

È corretto. Ma sei davvero interessato alla distribuzione degli errori o sei interessato a eseguire ANOVA? (Non sto cercando di implicare che la domanda debba essere ignorata - è un problema affascinante che hai sollevato - ma mi chiedo solo se hai davvero bisogno di una risposta per procedere con l'analisi dei tuoi dati.)

— whuber

Ma puoi usare le stesse simulazioni per indagare sulla solidità dell'ANOVA nel tuo caso!

— kjetil b halvorsen,

Un commento leggermente tangenziale ma rilevante: in generale, l'utilizzo di un test per la normalità (o un'altra ipotesi di modello) prima di fare un test di ipotesi presenta (almeno) tre problemi: 1) Se lo fai, devi tenere conto di più test; 2) Rifiutare l'ipotesi alternativa, ad esempio "non normale", non significa che puoi concludere la normalità; 3) I test per le ipotesi di modello hanno le loro ipotesi di modello, quindi dove ti fermi?

— Martha,

Lavorando su questa risposta, non completamente fatto. Ho qualche idea su questo, ma ci vuole un po 'di tempo per spiegare. Per questo, consideriamo che la deviazione standard è distorta per piccoli numeri. La ragione di ciò è che se prendiamo due numeri qualsiasi , assegniamo arbitrariamente la media del campione a , dove la media della popolazione, , potrebbe benissimo essere ovunque nel intervallo tra o potrebbe essere che o . Ciò significa che in media . Pertanto, è solo quando che questo pregiudizio diventa piccolo $a<b$ $\frac{a+b}2{}$ $\sigma$ $(a,b)$ $\sigma<a$ $\sigma>b$ $\text{SD}<\sigma$ $n>100$ . Per una lunga serie di SD per piccoli numeri di campioni ciascuno, il calcolo della SD diventa più preciso e ovviamente più impreciso.

Ora, piuttosto che alzare le mani per la frustrazione, possiamo applicare la correzione dei piccoli numeri per le nostre SD in condizioni normali. (Ah! C'è una soluzione alla nostra miseria.)

$\frac{SD(n)}{\mu(n)}\,=\,\sqrt{\frac{2}{n-1}}\,\,\,\frac{\Gamma\left(\frac{n}{2}\right)}{\Gamma\left(\frac{n-1}{2}\right)} \, = \, 1 - \frac{1}{4n} - \frac{7}{32n^2} - \frac{19}{128n^3} + O(n^{-4})$ vedi $E[\mu]$

Per , questo è . Ciò significa che dobbiamo dividere la nostra SD per così tanto per stimare . $n=3$ $\Gamma(\frac{3}{2})=\frac{\sqrt{\pi }}{2}\approx0.8862269255$ $\sigma$

Ora nel caso in cui presenti hai anche molte altre cose da fare. Come succede, la migliore misura della posizione di una distribuzione uniforme non è la media. Sebbene sia la media del campione che la mediana del campione siano stimatori imparziali del punto medio, nessuno dei due è efficiente quanto l'intervallo medio del campione, ovvero la media aritmetica del massimo del campione e il minimo del campione, che è lo stimatore imparziale a varianza minima UMVU stimatore del punto medio (e anche la stima della massima verosimiglianza).

Ora per la carne della questione. Se si utilizza la media dei valori estremi, la varianza della misura della posizione sarà inferiore, a condizione che i dati siano distribuiti in modo uniforme. Può essere normalmente distribuito perché una singola coda di valore estremo potrebbe essere normale. Con solo 3 campioni, tuttavia, la deviazione standard dovrà essere corretta.

— Carl
fonte