Test di ipotesi sequenziali nella scienza di base

Sono un farmacologo e, nella mia esperienza, quasi tutti i lavori di ricerca biomedica di base utilizzano il test t di Student (sia per sostenere l'inferenza che per conformarsi alle aspettative ...). Un paio di anni fa mi è venuto in mente che il test t di Student non è il test più efficiente che potrebbe essere utilizzato: i test sequenziali offrono molta più potenza per qualsiasi dimensione del campione, o una dimensione del campione molto più piccola in media per una potenza equivalente.

Le procedure sequenziali di varia complessità sono utilizzate nella ricerca clinica, ma non ne ho mai visto uno usato in una pubblicazione di ricerca biomedica di base. Prendo atto che sono assenti anche dai libri di testo statistici di livello introduttivo che sono probabilmente tutti gli scienziati di base.

La mia domanda è triplice:

Dato il notevole vantaggio in termini di efficienza dei test sequenziali, perché non sono più ampiamente utilizzati?
C'è uno svantaggio associato all'utilizzo di metodi sequenziali che significherebbe scoraggiare il loro uso da parte di non statistici?
Gli studenti di statistica vengono istruiti sulle procedure di test sequenziali?

hypothesis-testing teaching statistical-significance

— Michael Lew
fonte

Giusto per essere sicuri, stai parlando di ST come trovato negli studi clinici, ad esempio en.wikipedia.org/wiki/Sequential_analysis ?

— chl

Sì. Esistono alcune varianti di test sequenziali, inclusi test t sequenziali, ma nessuno viene utilizzato nella ricerca di base. Non vedo alcun impedimento al loro uso.

— Michael Lew,

(+1) Mi sono appena imbattuto in test sequenziali e mi sono posto le stesse domande.

— Steffen,

Non conosco molto i test sequenziali e la loro applicazione al di fuori dell'analisi intermedia (Jennison e Turnbull, 2000) e dei test adattativi computerizzati (van der Linden e Glas, 2010). Un'eccezione è in alcuni studi di risonanza magnetica che sono associati a costi elevati e difficoltà ad iscrivere soggetti. Fondamentalmente, in questo caso il test sequenziale mira principalmente a interrompere l'esperimento prima. Quindi, non mi sorprende che questi approcci molto personalizzati non vengano insegnati in normali lezioni statistiche.

I test sequenziali non sono privi di insidie, tuttavia (l'errore di tipo I e II deve essere specificato in anticipo, la scelta della regola di arresto e la visualizzazione multipla dei risultati devono essere giustificati, i valori p non sono distribuiti uniformemente sotto il valore nullo come in disegno del campione, ecc.). Nella maggior parte dei progetti, lavoriamo con un'impostazione sperimentale pre-specificata o è stato condotto uno studio preliminare sulla potenza, per ottimizzare un qualche tipo di criterio di costo-efficacia, nel qual caso si applicano le procedure di test standard.

Ho trovato, tuttavia, molto interessante il seguente articolo di Maik Dierkes sulla progettazione di campioni fissi o aperti: un'affermazione per progetti sequenziali di esperimenti .

— CHL
fonte

I ricercatori biomedici di base fanno sempre analisi intermedie, semplicemente non le dichiarano perché non sanno nemmeno che è importante! Ho esaminato i ricercatori in un congresso nazionale e ho scoperto che oltre il 50% non sapeva che il controllo dei tassi di errore dal test t di Student dipende da una dimensione del campione fissa predeterminata. Potete vedere le prove di ciò nelle dimensioni del campione talvolta erroneamente variabili utilizzate.

— Michael Lew,

Alcuni degli svantaggi che derivano dalla complessità dei progetti sequenziali derivano specificamente dalla progettazione delle analisi piuttosto che dalla loro implementazione. Forse potremmo avere una serie di progetti predefiniti per piccoli esperimenti di base.

— Michael Lew,

@Michael A proposito di analisi intermedie "false" (guardando i valori p mentre lo studio è ancora in una fase di evoluzione): sembra che sia un uso inappropriato delle statistiche, non di più.

— chl

@Chi Ad un certo livello, sì, le analisi intermedie non dichiarate e non corrette sono inadeguate (ma è fatto in ignoranza, un'ignoranza che credo evidenzia inadeguatezze nei metodi di insegnamento delle statistiche ai ricercatori biomedici di base ...). Tuttavia, se lo consideriamo a un livello meta, allora è possibile trovare alcune giustificazioni parziali. Molti esperimenti coinvolgono campioni così piccoli che un aumento del tasso di errore falso positivo può essere un ragionevole compromesso per maggiore potenza. La convenzione esclude un livello dichiarato di alfa superiore a 0,05.

— Michael Lew,

Noto in questo contesto che i ricercatori di biomedica di base non lavorano in un approccio esclusivamente Neyman-Pearson, anche se affermazioni che "risultati in cui P <0,05 sono stati considerati significativi" potrebbero suggerire diversamente. Se rimaniamo entro i limiti del test di significatività di Fisher in cui considerazioni diverse dal valore P raggiunto possono essere incorporate nelle decisioni su come gestire i risultati del test, forse le analisi intermedie potrebbero non essere così negative. Tuttavia, è certo che un test sequenziale progettato sarebbe superiore a uno non progettato.

— Michael Lew,