I test statistici non fanno ipotesi sulla dimensione del campione. Esistono, naturalmente, ipotesi diverse con vari test (ad esempio, la normalità), ma l'uguaglianza delle dimensioni del campione non è una di queste. A meno che il test utilizzato non sia inappropriato in qualche altro modo (non riesco a pensare a un problema in questo momento), il tasso di errore di tipo I non sarà influenzato da dimensioni del gruppo drasticamente disuguali. Inoltre, il loro fraseggio implica (secondo me) che credono che lo farà. Pertanto, sono confusi su questi problemi.
D'altro canto, i tassi di errore di tipo II saranno fortemente influenzati da una disparità. Ciò sarà vero indipendentemente dal test (ad esempio, iltest t , iltest U di Mann-Whitneyo iltest z per l'uguaglianza delle proporzioni saranno tutti influenzati in questo modo). Per un esempio di ciò, vedi la mia risposta qui:come si dovrebbe interpretare il confronto dei mezzi di diverse dimensioni del campione? Pertanto, potrebbero essere "giustificati nel gettare la spugna" rispetto aquestoproblema. (In particolare, se si prevede di ottenere un risultato non significativo, indipendentemente dal fatto che l'effetto sia reale o meno, qual è il punto del test?) ntUz
Man mano che le dimensioni del campione divergono, la potenza statistica converge in . Questo fatto in realtà porta a un suggerimento diverso, di cui sospetto che poche persone abbiano mai sentito parlare e che probabilmente avrebbe problemi a superare i revisori (nessuna offesa): un'analisi della potenza di compromesso . L'idea è relativamente semplice: in qualsiasi analisi di potenza, α , β , n (generalmente si assume n 1 = n 2 ). D'altra parte, è possibile correggere n 1 , n 2 e d , e risolvere per α (o equivalentemente βααβ , n 2 e la dimensione dell'effetto d , esistono in relazione tra loro. Dopo aver specificato tutti tranne uno, è possibile risolvere l'ultimo. In genere, le persone fanno quella che viene chiamataun'analisi del potere a priori, in cui risolvi per Nn1n2dNn1= n2n1n2dαβ), se si specifica il rapporto tra il tipo I e i tassi di errore di tipo II con cui sei disposto a convivere. Convenzionalmente, e β = .20 , quindi stai dicendo che gli errori di tipo I sono quattro volte peggiori degli errori di tipo I. Certo, un determinato ricercatore potrebbe non essere d'accordo con questo, ma dopo aver specificato un determinato rapporto, puoi risolvere ciò che αα = .05β= .20αdovresti usare per possibilmente mantenere un potere adeguato. Questo approccio è un'opzione logicamente valida per i ricercatori in questa situazione, anche se riconosco l'esoticità di questo approccio potrebbe renderlo una vendita difficile nella più ampia comunità di ricerca che probabilmente non ha mai sentito parlare di una cosa del genere.