Qual è la differenza tra "verifica dell'ipotesi" e "verifica della significatività"?

C'è una differenza tra le frasi "verifica dell'ipotesi" e "verifica della significatività" o sono uguali?

Dopo una risposta dettagliata di @Micheal Lew, ho una confusione che al giorno d'oggi le ipotesi (ad esempio, t-test per testare la media) sono esempi di "test di significatività" o "test di ipotesi"? O è una combinazione di entrambi? Come li differenzieresti con un semplice esempio?

I test di significatività sono stati ideati da Fisher e i test di ipotesi sono stati ideati da Neyman e Pearson per sostituire i test di significatività. Non sono gli stessi e sono reciprocamente incompatibili in misura tale da sorprendere la maggior parte degli utenti di test di ipotesi nulli.

I test di significatività di Fisher producono un valore ap che rappresenta quanto estreme siano le osservazioni sotto l'ipotesi nulla. Quel valore p è un indice di evidenza contro l'ipotesi nulla e il livello di significatività.

I test di ipotesi di Neyman e Pearson stabiliscono sia un'ipotesi nulla sia un'ipotesi alternativa e funzionano come una regola di decisione per accettare l'ipotesi nulla. In breve (c'è più di quello che posso mettere qui) scegli un tasso accettabile di inferenza falsa positiva, alfa (di solito 0,05), e accetta o rifiuta il null in base al fatto che il valore p sia al di sopra o al di sotto dell'alfa. È necessario attenersi alla decisione del test statistico se si desidera proteggere da errori falsi positivi.

L'approccio di Fisher ti consente di prendere in considerazione qualsiasi cosa ti piaccia nell'interpretazione del risultato, ad esempio le prove preesistenti possono essere prese in considerazione in modo informale nell'interpretazione e nella presentazione del risultato. Nell'approccio NP che può essere fatto solo in fase di progettazione sperimentale e sembra essere fatto raramente. A mio avviso, l'approccio dei pescatori è più utile nel lavoro bioscientifico di base rispetto all'approccio NP.

Esiste una letteratura sostanziale sulle incongruenze tra test di significatività e test di ipotesi e sulla sfortunata ibridazione dei due. Potresti iniziare con questo documento: Goodman, Verso statistiche mediche basate sull'evidenza. 1: L'errore di valore P. http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=ShowDetailView&TermToSearch=10383371

In molti casi, queste due affermazioni significano la stessa cosa. Tuttavia, possono anche essere abbastanza diversi.

Testare un'ipotesi consiste nel dire prima cosa credi che accadrà con qualche fenomeno, quindi sviluppare un qualche tipo di test per questo fenomeno e quindi determinare se il fenomeno si è effettivamente verificato. In molti casi, il test di un'ipotesi non deve comportare alcun tipo di test statistico. Mi viene in mente questa citazione del fisico Ernest Rutherford - Se il tuo esperimento ha bisogno di statistiche, avresti dovuto fare un esperimento migliore. Detto questo, la verifica delle ipotesi normalmente utilizza un qualche tipo di strumento statistico.

Al contrario, test di significatività è un concetto puramente statistico. In sostanza, si hanno due ipotesi: l'ipotesi nulla, che afferma che non vi è alcuna differenza tra le tue due (o più) raccolte di dati. L'ipotesi alternativa è che esiste una differenza tra i due campioni che non si è verificata per caso.

Sulla base del progetto del tuo studio, confronti quindi i due (o più) campioni usando un test statistico, che ti dà un numero, che poi confronti con una distribuzione di riferimento (come le distribuzioni normali, t o F) e se questa statistica del test supera un valore critico, si rifiuta l'ipotesi nulla e si conclude che esiste una differenza tra i due (o più) campioni. Questo criterio è normalmente che la probabilità che la differenza si verifichi per caso sia inferiore a una su venti (p <0,05), sebbene talvolta ne vengano utilizzate altre.