Come verificare la normale distribuzione utilizzando Excel per eseguire un test t?

Voglio sapere come controllare un set di dati per la normalità in Excel, solo per verificare che siano soddisfatti i requisiti per l'utilizzo di un test t .

Per la coda destra, è appropriato calcolare solo una media e una deviazione standard, aggiungere 1, 2 e 3 deviazioni standard dalla media per creare un intervallo, quindi confrontarlo con il normale 68/95 / 99.7 per la distribuzione normale standard dopo l'uso la funzione norm.dist in Excel per testare ogni valore di deviazione standard.

O c'è un modo migliore per testare la normalità?

Hai l'idea giusta. Questo può essere fatto in modo sistematico, completo e con calcoli relativamente semplici. Un grafico dei risultati è chiamato un diagramma di probabilità normale (o talvolta un diagramma PP). Da esso puoi vedere molti più dettagli di quelli che appaiono in altre rappresentazioni grafiche, in particolare gli istogrammi , e con un po 'di pratica puoi persino imparare a determinare i modi per riesprimere i tuoi dati per renderli più vicini alla Normale in situazioni in cui ciò è giustificato.

Ecco un esempio:

I dati sono in colonna A(e denominati Data). Il resto è tutto calcolo, sebbene sia possibile controllare il valore "rango cerniera" utilizzato per adattare una linea di riferimento al grafico.

Questo diagramma è un diagramma a dispersione che confronta i dati con valori che sarebbero raggiunti da numeri estratti indipendentemente da una distribuzione normale standard. Quando i punti si allineano lungo la diagonale, sono vicini alla Normale; le partenze orizzontali (lungo l'asse dei dati) indicano le deviazioni dalla normalità. In questo esempio i punti sono notevolmente vicini alla linea di riferimento; la partenza più grande avviene al valore più alto, che è di circa $1.5$ unità a sinistra della linea. Quindi vediamo a colpo d'occhio che questi dati sono molto simili a quelli normalmente distribuiti ma forse hanno una coda destra leggermente "leggera". Questo va perfettamente bene per l'applicazione di un test t.

I valori di confronto sull'asse verticale sono calcolati in due fasi. Innanzitutto ogni valore di dati viene classificato da $1$ a $n$ , la quantità di dati (mostrata nel Countcampo nella cella F2). Questi vengono convertiti proporzionalmente in valori nell'intervallo da $0$ a $1$ . Una buona formula da utilizzare è $\left(\text{rank}-1/6\right)/\left(n+2/3\right).$ (Vedi http://www.quantdec.com/envstats/notes/class_02/characterizing_distributions.htm per sapere da dove proviene.) Quindi questi vengono convertiti in valori normali standard tramite ilNormSInvfunzione. Questi valori vengono visualizzati nella Normal scorecolonna. La trama a destra è un diagramma a dispersione XY di Normal Scorecontro i dati. (In alcuni riferimenti vedrai la trasposizione di questo grafico, che forse è più naturale, ma Excel preferisce posizionare la colonna più a sinistra sull'asse orizzontale e la colonna più a destra sull'asse verticale, quindi gli ho lasciato fare ciò che preferisce. )

(Come puoi vedere, ho simulato questi dati con estrazioni casuali indipendenti da una distribuzione normale con media $5$ e deviazione standard $2$ Non sorprende quindi che il grafico delle probabilità appaia così bello.) Esistono davvero solo due formule da digitare, che si propaga verso il basso per abbinare i dati: appaiono nelle celle B2:C2e si basano sul Countvalore calcolato nella cella F2. Questo è davvero tutto ciò che c'è da fare, a parte la trama.

$3$Hinge RankF3

Per tracciare la linea di riferimento, vengono calcolati e aggiunti due punti estremi alla trama: il loro calcolo avviene in colonne I:J, etichettati Xe Y.

È possibile tracciare un istogramma utilizzando il toolpack di analisi dei dati in Excel . Gli approcci grafici hanno maggiori probabilità di comunicare il grado di non normalità, che in genere è più rilevante per i test di assunzione (vedi questa discussione sulla normalità ).

Il toolpack di analisi dei dati in Excel ti darà anche asimmetria e curtosi se chiedi statistiche descrittive e scegli l'opzione "statistiche riassuntive". Ad esempio, potresti considerare i valori di asimmetria più o meno uno come una forma di non normalità sostanziale.

Detto questo, il presupposto con i test t è che i residui sono normalmente distribuiti e non la variabile. Inoltre, sono anche abbastanza robusti in modo tale che anche con quantità abbastanza elevate di non normalità, i valori di p sono ancora abbastanza validi.

Questa domanda confina anche con la teoria statistica: testare la normalità con dati limitati può essere discutibile (anche se di tanto in tanto lo abbiamo fatto tutti).

In alternativa, puoi guardare a curtosi e coefficienti di asimmetria. Da Hahn e Shapiro: Modelli statistici in Ingegneria sono forniti alcuni retroscena sulle proprietà Beta1 e Beta2 (pagine da 42 a 49) e la Figura 6-1 di Pagina 197. Ulteriori ipotesi alla base possono essere trovate su Wikipedia (vedi distribuzione Pearson).

Fondamentalmente è necessario calcolare le cosiddette proprietà Beta1 e Beta2. A Beta1 = 0 e Beta2 = 3 suggeriscono che il set di dati si avvicina alla normalità. Questo è un test approssimativo ma con dati limitati si potrebbe sostenere che qualsiasi test potrebbe essere considerato approssimativo.

Beta1 è correlato ai momenti 2 e 3, o varianza e asimmetria , rispettivamente. In Excel, questi sono VAR e SKEW. Dove ... è il tuo array di dati, la formula è:

Beta1 = SKEW(...)^2/VAR(...)^3

Beta2 è correlato ai momenti 2 e 4, o alla varianza e alla curtosi , rispettivamente. In Excel, questi sono VAR e KURT. Dove ... è il tuo array di dati, la formula è:

Beta2 = KURT(...)/VAR(...)^2

Quindi puoi verificarli con i valori di 0 e 3, rispettivamente. Ciò ha il vantaggio di identificare potenzialmente altre distribuzioni (comprese le distribuzioni Pearson I, I (U), I (J), II, II (U), III, IV, V, VI, VII). Ad esempio, molte delle distribuzioni comunemente usate come Uniform, Normal, Student's t, Beta, Gamma, Exponential e Log-Normal possono essere indicate da queste proprietà:

Where:   0 <= Beta1 <= 4
         1 <= Beta2 <= 10 

Uniform:        [0,1.8]                                 [point]
Exponential:    [4,9]                                   [point] 
Normal:         [0,3]                                   [point]
Students-t:     (0,3) to [0,10]                         [line]
Lognormal:      (0,3) to [3.6,10]                       [line]
Gamma:          (0,3) to (4,9)                          [line]
Beta:           (0,3) to (4,9), (0,1.8) to (4,9)        [area]
Beta J:         (0,1.8) to (4,9), (0,1.8) to [4,6*]     [area]
Beta U:         (0,1.8) to (4,6), [0,1] to [4.5)        [area]
Impossible:     (0,1) to (4.5), (0,1) to (4,1]          [area]
Undefined:      (0,3) to (3.6,10), (0,10) to (3.6,10)   [area]

Values of Beta1, Beta2 where brackets mean:

[ ] : includes (closed)
( ) : approaches but does not include (open)
 *  : approximate 

Questi sono illustrati in Hahn e Shapiro Fig 6-1.

Concesso, questo è un test molto approssimativo (con alcuni problemi) ma potresti voler considerarlo come un controllo preliminare prima di passare a un metodo più rigoroso.

Esistono anche meccanismi di regolazione per il calcolo di Beta1 e Beta2 in cui i dati sono limitati, ma questo va oltre questo post.