Documento sull'esecuzione di test di ipotesi basati sull'esito di un altro test

È risaputo che è problematico scegliere un test statistico basato sull'esito di un altro test statistico, poiché i valori p sono difficili da interpretare (ad esempio la scelta di un test statistico basato sull'esito di un altro (ad es. Normalità) ) . Tuttavia, questa è ancora una pratica standard in molte applicazioni e di solito non sembra essere notata o discussa nei documenti applicati. Guardando attraverso la letteratura, non sono riuscito a trovare un documento che in realtà discute di questo fenomeno.

Gradirei collegamenti a qualsiasi pubblicazione relativa alla scelta di un test statistico basato sull'esito di un altro test statistico, in particolare quelli accessibili agli scienziati applicati.

hypothesis-testing references p-value

— Rob Hall
fonte

Commento non correlato: Nella mia ricerca, mi sono imbattuto in un articolo di RS Nickerson " Test di significatività dell'ipotesi nulla: una revisione di una vecchia e continua controversia ", che non discute questo particolare fenomeno, ma sembrava anche bello da dare agli scienziati applicati.

— Rob Hall,

Molto tempo fa ho pubblicato un'analisi dettagliata di una di queste situazioni su quantdec.com/envstats/notes/class_12/ucl.htm : studia le proprietà di una UCL determinata da una procedura scelta in base ai risultati di un test preliminare di ipotesi ( riguardo alla distribuzione sottostante).

— whuber

Questo potrebbe interessarti (vedi anche questo ). Poi c'è questo . Ciò riguarda il test dell'uguaglianza di varianza e il test della normalità rispettivamente prima di un test t a due campioni.

— Glen_b -Restate Monica

Mi sembra che dire semplicemente "È risaputo che è problematico" significa fornire una specificità insufficiente perché la natura problematica dipende probabilmente dal quadro statistico all'interno del quale si sta lavorando. I problemi di interpretazione del frequentista potrebbero non essere problemi per i metodi che valutano il significato probatorio dei dati.

— Michael Lew,

Forse un semplice esempio in cui questo è problematico servirebbe più o meno allo stesso scopo di una citazione.

— BKay

Penso che il seguente documento di ricerca sulle procedure a catena sia pertinente e possa essere utile per rispondere alla tua domanda: http://www.multxpert.com/doc/md2011.pdf .

— Aleksandr Blekh
fonte

Grazie per l'interessante articolo. Se lo capisco correttamente, esamina l'allocazione basata sui dati dell'alfa a una serie ordinata di ipotesi. Una tale procedura potrebbe quindi semplicemente aggiungere tutte le varianti di un'ipotesi a un elenco (ad esempio l'ipotesi dato che può essere usato un test paremetrico e l'ipotesi dato che ci sono alcune prove che dovrebbe essere usato un test non paremetric). Mentre questo dovrebbe essere un approccio sensato in un quadro Neyman-Pearson, non sono sicuro che questo risolva il problema dell'interpretazione dei valori di p nel senso di Fisher.

— Rob Hall,

@RobHall: Prego! Francamente, ho sfogliato il documento senza approfondire i dettagli, quindi al momento non posso davvero fare un commento utile. Ma spero di rivedere questo documento quando ne avrò la possibilità. A proposito, ecco un altro documento interessante che potrebbe essere rilevante per questo, in cui l'autore sostiene che i due framework possono essere considerati complementari: stat.duke.edu/courses/Spring07/sta215/Ref/Lehm1993.pdf .

— Aleksandr Blekh,