L'aumento dinamico della dimensione del campione va bene, se dichiarato a priori?

Sto per fare uno studio sui meriti di uno stimolo rispetto a un altro con un disegno all'interno del soggetto. Ho uno schema di permutazione progettato per ridurre gli effetti dell'ordine di alcune parti dello studio (ordine del tipo di attività, ordine di stimolo, ordine del set di attività). Lo schema di permutazione impone che la dimensione del campione sia divisibile per 8.

Per determinare la dimensione del campione dovrei o fare un'ipotesi selvaggia (essendo una buona tradizione nel mio campo) o calcolare la dimensione del campione per la mia potenza desiderata. Il problema è ora che non ho la minima idea di quanto grande sarà la dimensione di un effetto che sto per osservare (anche una buona tradizione nel mio campo). Ciò significa che il calcolo della potenza è un po 'difficile. D'altra parte, fare un'ipotesi selvaggia potrebbe anche essere negativo perché posso venire fuori con una dimensione del campione troppo bassa o pagare troppi soldi ai miei partecipanti e passare troppo tempo in laboratorio.

Va bene dichiarare in anticipo che aggiungo partecipanti a gruppi di 8 persone fino a quando non lascio un corridoio di due valori p? Ad esempio 0,05 <p <0,30? O in quale altro modo, mi consiglieresti, dovrei procedere?

Innanzitutto, per rispondere direttamente alla tua domanda: no, non puoi semplicemente andare avanti fino a quando non ottieni un valore p significativo. Il design che proponi ha un tasso di errore di tipo I superiore al 5%. Tuttavia l'idea di base è corretta, tranne per il fatto che è necessario regolare i cutoff. In effetti, come menzionato da @cardinal nei commenti, esiste un intero campo di ricerca per la tua domanda: questi sono chiamati disegni adattivi sequenziali, o sequenziali di gruppo, o più in generale, (non sono le stesse cose, ma nel complesso linee della tua idea).

Ecco un riferimento che dimostra alcune delle idee di base: C. Mehta, P. Gao, DL Bhatt, RA Harrington, S. Skerjanec, JH Ware Ottimizzazione del progetto di prova: Circolazione di strategie sequenziali, adattive e di arricchimento . 2009; 119: 597-605

Hai mai considerato il potere su una gamma di dimensioni di effetti? Ad esempio, calcolo spesso la potenza come una curva e finisco con una miriade di potenziali scenari inseriti nel grafico, in cui posso quindi prendere una decisione sulla dimensione del campione. Ad esempio, potrei calcolare la dimensione del campione necessaria per misure di effetto che vanno da molto vicino a null a leggermente più alte dei miei sogni più selvaggi, questa-vela-attraverso-peer-review.

Potrei anche tracciare altri scenari, a seconda di quanto non conosco sui dati. Ad esempio, di seguito è riportato un diagramma che calcola la potenza, non la dimensione del campione, ma ha un concetto simile ad esso. Conosco pochissimo i dati, quindi ho ipotizzato un tasso di eventi del 10% per un'analisi di sopravvivenza, quindi ho calcolato la potenza dello studio (la dimensione del campione è stata fissata) in una serie di condizioni:

Uno potrebbe anche essere in grado di variare in questo caso il numero di eventi, che ti lascerebbe con più grafici o una "superficie di potenza". Questo sembra essere un modo molto più veloce per ottenere una maniglia almeno dove si dovrebbe cercare la dimensione del campione, piuttosto che modificare la dimensione del campione al volo. O almeno darti una soglia in cui puoi smettere di aggiungere persone. Ad esempio, se i tuoi calcoli ti dicono che 1.000 persone ti faranno vedere un effetto di qualcosa di molto piccolo - ad esempio, un rapporto di rischio di 1,01 o simili - sai che se lo colpisci, puoi smettere di provare ad aggiungere persone, perché non è un problema di alimentazione, ma un problema "Non c'è niente".

Quando si eseguono calcoli di potenza, la domanda che di solito mi pongo (nel mio campo, che ha anche queste tradizioni) tende ad essere "Quanto grande dovrebbe essere un effetto per le persone?". Se il tuo metodo è "significativamente" migliore con un miglioramento dello 0,1%, a qualcuno importa? Che ne dici di un miglioramento dello 0,01%?