Come verificare le differenze tra due gruppi significa quando i dati non sono normalmente distribuiti?

19

Eliminerò tutti i dettagli e gli esperimenti biologici e citerò solo il problema attuale e quello che ho fatto statisticamente. Vorrei sapere se è giusto e, in caso contrario, come procedere. Se i dati (o la mia spiegazione) non sono abbastanza chiari, proverò a spiegare meglio modificando.

Supponiamo che io abbia due gruppi / osservazioni, X e Y, con dimensione e . Vorrei sapere se i mezzi di queste due osservazioni sono uguali. La mia prima domanda è: $N_x=215$ $N_y=40$

Se le ipotesi sono soddisfatte, è rilevante utilizzare qui un test t parametrico a due campioni? Lo chiedo perché dalla mia comprensione di solito si applica quando la dimensione è piccola?
Ho tracciato istogrammi di X e Y e non erano normalmente distribuiti, uno dei presupposti di un test t a due campioni. La mia confusione è che li considero due popolazioni ed è per questo che ho verificato la normale distribuzione. Ma poi sto per eseguire un test t a due CAMPIONI ... È giusto?
Dal teorema del limite centrale, capisco che se si esegue il campionamento (con / senza ripetizione a seconda della dimensione della popolazione) più volte e si calcola la media dei campioni ogni volta, allora sarà distribuito approssimativamente normalmente. E la media di queste variabili casuali sarà una buona stima della media della popolazione. Quindi, ho deciso di farlo su X e Y, 1000 volte, e ho ottenuto campioni e ho assegnato una variabile casuale alla media di ciascun campione. La trama era normalmente distribuita. La media di X e Y era 4.2 e 15.8 (che erano uguali alla popolazione + - 0,15) e la varianza era 0,95 e 12,11.
Ho eseguito un test t su queste due osservazioni (1000 punti dati ciascuno) con varianze disuguali, perché sono molto diverse (0,95 e 12,11). E l'ipotesi nulla è stata respinta.
Ha senso per niente? Questo approccio corretto / significativo o uno z-test a due campioni è sufficiente o è totalmente sbagliato?
Ho anche eseguito un test Wilcoxon non parametrico solo per essere sicuro (su X e Y originali) e l'ipotesi nulla è stata respinta in modo convincente anche lì. Nel caso in cui il mio metodo precedente fosse completamente sbagliato, suppongo che fare un test non parametrico sia buono, tranne forse per il potere statistico?

In entrambi i casi, i mezzi erano significativamente diversi. Tuttavia, vorrei sapere se uno o entrambi gli approcci sono errati / totalmente errati e, in tal caso, qual è l'alternativa?

— Arun
fonte

21

L'idea che il test t sia solo per piccoli campioni è una presa storica. Sì, è stato originariamente sviluppato per piccoli campioni, ma non c'è nulla nella teoria che distingua il piccolo dal grande. Nei giorni in cui i computer erano comuni per fare statistiche, le tabelle T spesso raggiungevano solo i 30 gradi di libertà e il normale veniva usato oltre che come una stretta approssimazione della distribuzione t. Ciò è stato utile per mantenere ragionevole la dimensione della tavola a T. Ora con i computer possiamo eseguire test t per qualsiasi dimensione di campione (anche se per campioni molto grandi la differenza tra i risultati di un test z e un test t è molto piccola). L'idea principale è quella di utilizzare un test t quando si utilizza il campione per stimare le deviazioni standard e il test z se le deviazioni standard della popolazione sono note (molto rare).

Il Teorema del limite centrale ci consente di utilizzare l'inferenza teorica normale (test t in questo caso) anche se la popolazione non è normalmente distribuita fintanto che le dimensioni del campione sono sufficientemente grandi. Ciò significa che il test è approssimativo (ma con le dimensioni del campione, l'apprendimento dovrebbe essere molto buono).

Il test di Wilcoxon non è un test di mezzi (a meno che non si sappia che le popolazioni sono perfettamente simmetriche e valgono altre ipotesi improbabili). Se i mezzi sono il principale punto di interesse, allora il t-test è probabilmente il migliore da citare.

Dato che le tue deviazioni standard sono così diverse e che le forme sono non normali e forse diverse l'una dall'altra, la differenza nei mezzi potrebbe non essere la cosa più interessante che sta succedendo qui. Pensa alla scienza e a ciò che vuoi fare con i tuoi risultati. Le decisioni vengono prese a livello di popolazione o individuale? Pensa a questo esempio: stai confrontando 2 farmaci per una data malattia, con il farmaco Una metà del campione è deceduta immediatamente e l'altra metà è guarita in circa una settimana; con il farmaco B tutti sopravvissero e si ripresero, ma il tempo di recupero fu più lungo di una settimana. In questo caso ti interesserebbe davvero quale tempo medio di recupero fosse più breve? Oppure sostituisci la metà morente in A con un tempo di recupero molto lungo (più lungo di chiunque nel gruppo B).

— Greg Snow
fonte

Grazie Greg. Presumo che non ci sia nulla di sbagliato nella procedura di per sé? Capisco che potrei non porre la domanda giusta, ma la mia preoccupazione riguarda ugualmente il test / procedura statistica e la comprensione stessa dati due campioni. Verificherò se sto ponendo la domanda giusta e tornerò con eventuali domande. Forse se spiego il problema biologico, sarebbe di aiuto con più suggerimenti. Grazie ancora.

— Arun,

5

Un'aggiunta alla risposta già molto completa di Greg.

Se ti capisco nel modo giusto, il punto 3 indica la seguente procedura:

$n$ $X$
$m$ $n$
Ripeti 1000 volte, salva i mezzi corrispondenti
$X$

Ora la tua ipotesi è che per questo significhi il teorema del limite centrale e la corrispondente variabile casuale sarà normalmente distribuita.

Forse diamo un'occhiata alla matematica dietro il tuo calcolo per identificare l'errore:

$X$ $X_1,\ldots,X_n$ $X_1,\ldots, X_n\sim X$ $m$ $k$

Y_{K} = \frac{1}{m} Σ_{io = 1}^{m} X_{μ_{io}^{K}}

$Y_k=\frac{1}{m}\sum_{i=1}^m X_{\mu^k_{i}}$

$\mu^k_i$ $n$ $i$

\frac{1}{1000} Σ_{K = 1}^{1000} \frac{1}{m} Σ_{io = 1}^{m} X_{μ_{io}^{K}}

$\frac{1}{1000}\sum_{k=1}^{1000} \frac{1}{m}\sum_{i=1}^m X_{\mu^k_{i}}$

$X_i$ $1000m$ $1000m$ $X_i$

Ora, tuttavia, il Teorema del limite centrale afferma che la somma di molte variabili casuali indipendenti è approssimativamente normale. (Il che risulta essere anche la media approssimativa normale).

La somma sopra indicata non produce campioni indipendenti. Forse hai pesi casuali, ma ciò non rende affatto i tuoi campioni indipendenti. Pertanto, la procedura scritta in 3 non è legale.

$t$

— Thilo
fonte

Grazie. Sembra che t-test si occupi già del problema usando CLT (dalla risposta di Greg che ho trascurato). Grazie per averlo sottolineato e per la chiara spiegazione di 3) che è quello che volevo davvero sapere. Dovrò investire più tempo per cogliere questi concetti.

— Arun,

2

Tieni presente che il CLT funziona in modo diverso a seconda della distribuzione a portata di mano (o, peggio ancora, il valore atteso o la varianza della distribuzione non esistono - quindi CLT non è nemmeno valido). In caso di dubbio, è sempre una buona idea generare una distribuzione simile a quella osservata e quindi simulare il test usando questa distribuzione alcune centinaia di volte. Avrai un'idea della qualità delle forniture di approssimazione CLT.

— Thilo,