Dimensioni del campione non uguali: quando chiamarlo si chiude

Sto recensendo un articolo di un giornale accademico e gli autori hanno scritto quanto segue come giustificazione per non riportare alcuna statistica inferenziale (ho deidentificato la natura dei due gruppi):

In totale, 25 dei 2,349 (1,1%) rispondenti presentate X . Ci asteniamo in modo appropriato dalla presentazione di analisi che confrontino statisticamente il gruppo X con il gruppo Y (gli altri 2.324 partecipanti) poiché tali risultati potrebbero essere fortemente guidati dal caso con un risultato così raro.

La mia domanda è: gli autori di questo studio sono giustificati nel gettare la spugna rispetto ai gruppi di confronto? In caso contrario, cosa potrei raccomandare loro?

I test statistici non fanno ipotesi sulla dimensione del campione. Esistono, naturalmente, ipotesi diverse con vari test (ad esempio, la normalità), ma l'uguaglianza delle dimensioni del campione non è una di queste. A meno che il test utilizzato non sia inappropriato in qualche altro modo (non riesco a pensare a un problema in questo momento), il tasso di errore di tipo I non sarà influenzato da dimensioni del gruppo drasticamente disuguali. Inoltre, il loro fraseggio implica (secondo me) che credono che lo farà. Pertanto, sono confusi su questi problemi.

D'altro canto, i tassi di errore di tipo II saranno fortemente influenzati da una disparità. Ciò sarà vero indipendentemente dal test (ad esempio, iltest t , iltest U di Mann-Whitneyo iltest z per l'uguaglianza delle proporzioni saranno tutti influenzati in questo modo). Per un esempio di ciò, vedi la mia risposta qui:come si dovrebbe interpretare il confronto dei mezzi di diverse dimensioni del campione? Pertanto, potrebbero essere "giustificati nel gettare la spugna" rispetto aquestoproblema. (In particolare, se si prevede di ottenere un risultato non significativo, indipendentemente dal fatto che l'effetto sia reale o meno, qual è il punto del test?) $n$$t$$U$$z$

Man mano che le dimensioni del campione divergono, la potenza statistica converge in . Questo fatto in realtà porta a un suggerimento diverso, di cui sospetto che poche persone abbiano mai sentito parlare e che probabilmente avrebbe problemi a superare i revisori (nessuna offesa): un'analisi della potenza di compromesso . L'idea è relativamente semplice: in qualsiasi analisi di potenza, α , β , n (generalmente si assume n 1 = n 2 ). D'altra parte, è possibile correggere n 1 , n 2 e d , e risolvere per α (o equivalentemente $\alpha$$\alpha$$\beta$ , n 2 e la dimensione dell'effetto d , esistono in relazione tra loro. Dopo aver specificato tutti tranne uno, è possibile risolvere l'ultimo. In genere, le persone fanno quella che viene chiamataun'analisi del potere a priori, in cui risolvi per$n_1$$n_2$$d$$N$$n_1=n_2$$n_1$$n_2$$d$$\alpha$$\beta$), se si specifica il rapporto tra il tipo I e i tassi di errore di tipo II con cui sei disposto a convivere. Convenzionalmente, e β = .20 , quindi stai dicendo che gli errori di tipo I sono quattro volte peggiori degli errori di tipo I. Certo, un determinato ricercatore potrebbe non essere d'accordo con questo, ma dopo aver specificato un determinato rapporto, puoi risolvere ciò che $\alpha=.05$$\beta=.20$$\alpha$dovresti usare per possibilmente mantenere un potere adeguato. Questo approccio è un'opzione logicamente valida per i ricercatori in questa situazione, anche se riconosco l'esoticità di questo approccio potrebbe renderlo una vendita difficile nella più ampia comunità di ricerca che probabilmente non ha mai sentito parlare di una cosa del genere.

Mentre la risposta di @gung è eccellente, penso che ci sia un problema importante che dovrebbe essere preso in considerazione quando si guarda a gruppi di dimensioni molto diverse. In generale, purché siano soddisfatti tutti i requisiti del test, la differenza nelle dimensioni dei gruppi non è importante.

Tuttavia, in alcuni casi le diverse dimensioni del gruppo avranno un effetto drammatico sulla solidità del test contro le violazioni contro queste ipotesi. Il classico t-test non accoppiato a due campioni, ad esempio, assume l'omongenità della varianza ed è robusto contro le violazioni solo se entrambi i gruppi hanno dimensioni simili (in ordine di grandezza). Altrimenti una varianza più elevata nel gruppo più piccolo porterà a errori di tipo I. Ora con il test t questo non è un grosso problema poiché comunemente viene usato il test t Welch e non presuppone l'omogeneità della varianza. Tuttavia, effetti simili possono verificarsi in modelli lineari.

In sintesi, direi che questo non è in alcun modo un ostacolo a un'analisi statistica, ma deve essere tenuto presente quando si decide come procedere.