Perché "statisticamente significativo" non è abbastanza?

Ho completato la mia analisi dei dati e ottenuto "risultati statisticamente significativi", il che è coerente con la mia ipotesi. Tuttavia, uno studente di statistica mi ha detto che questa è una conclusione prematura. Perché? C'è qualcos'altro da includere nel mio rapporto?

Test di ipotesi rispetto alla stima dei parametri

Tipicamente, le ipotesi sono inquadrate in modo binario. Metterò da parte le ipotesi direzionali, poiché non cambiano molto il problema. È comune, almeno in psicologia, parlare di ipotesi come: la differenza tra i mezzi di gruppo è o non è zero; la correlazione è o non è zero; il coefficiente di regressione è o non è zero; il quadrato r è o non è zero. In tutti questi casi, esiste un'ipotesi nulla di nessun effetto e un'ipotesi alternativa di un effetto.

Questo pensiero binario non è generalmente ciò che ci interessa di più. Una volta che pensi alla tua domanda di ricerca, ti accorgerai quasi sempre di essere effettivamente interessato a stimare i parametri. Sei interessato alla differenza effettiva tra medie di gruppo, o la dimensione della correlazione, o la dimensione del coefficiente di regressione o la quantità di varianza spiegata.

Naturalmente, quando otteniamo un campione di dati, la stima del campione di un parametro non è la stessa del parametro di popolazione. Quindi abbiamo bisogno di un modo per quantificare la nostra incertezza su quale potrebbe essere il valore del parametro. Dal punto di vista del frequentista, gli intervalli di confidenza forniscono un mezzo per fare, anche se i puristi bayesiani potrebbero sostenere che non consentono rigorosamente l'inferenza che potresti voler fare. Dal punto di vista bayesiano, intervalli credibili sulle densità posteriori forniscono un mezzo più diretto per quantificare la tua incertezza sul valore di un parametro di popolazione.

Parametri / dimensioni dell'effetto

$R^2$

C'è un'enorme letteratura in psicologia (e altri campi) che critica l'attenzione sui valori di p, i test di significatività dell'ipotesi nulla e così via (vedi questa ricerca di Google Scholar ). Questa letteratura raccomanda spesso di riportare le dimensioni degli effetti con intervalli di confidenza come una risoluzione (ad esempio, Task Force APA di Wilkinson, 1999).

Passaggi per allontanarsi dal test delle ipotesi binarie

Se stai pensando di adottare questo pensiero, penso che ci siano approcci progressivamente più sofisticati che puoi adottare:

• Approccio 1a. Riporta la stima puntuale del tuo effetto campione (ad esempio, differenze medie di gruppo) sia in termini grezzi che standardizzati. Quando riferisci i tuoi risultati, discuti su cosa significherebbe tale grandezza per la teoria e la pratica.
• Approccio 1b. Aggiungi a 1a, almeno a un livello molto elementare, un certo senso dell'incertezza attorno alla stima dei tuoi parametri in base alla dimensione del campione.
• Approccio 2. Riporta anche gli intervalli di confidenza sulle dimensioni degli effetti e incorpora questa incertezza nel tuo pensiero sui valori plausibili del parametro di interesse.
• Approccio 3. Riportare intervalli credibili bayesiani ed esaminare le implicazioni di varie ipotesi su quell'intervallo credibile, come la scelta del precedente, il processo di generazione dei dati implicito dal modello e così via.

Tra i molti riferimenti possibili, vedrai Andrew Gelman parlare molto di questi problemi sul suo blog e nelle sue ricerche.

Riferimenti

• Nickerson, RS (2000). Test di significatività dell'ipotesi nulla: una revisione di una vecchia e continua controversia. Metodi psicologici, 5 (2), 241.
• Wilkinson, L. (1999). Metodi statistici nelle riviste di psicologia: linee guida e spiegazioni. Psicologo americano, 54 (8), 594. PDF

Solo per aggiungere alle risposte esistenti (che sono eccezionali, a proposito). È importante essere consapevoli che la significatività statistica è una funzione della dimensione del campione .

Quando ottieni sempre più dati, puoi trovare differenze statisticamente significative ovunque guardi. Quando la quantità di dati è enorme, anche i più piccoli effetti possono portare a significatività statistica. Ciò non implica che gli effetti siano significativi in ​​alcun modo pratico.

$p$$p$

Se esistesse una base ragionevole per sospettare che la tua ipotesi potrebbe essere vera prima di iniziare lo studio; e hai condotto un buon studio (ad esempio, non hai indotto alcun disordine); e i tuoi risultati erano coerenti con le tue ipotesi e statisticamente significativi; allora penso che tu stia bene, per quanto va.

Tuttavia, non dovresti pensare che il significato sia tutto ciò che è importante nei tuoi risultati. Innanzitutto, dovresti anche guardare la dimensione dell'effetto (vedi la mia risposta qui: la dimensione dell'effetto come ipotesi per il test di significatività ). Potresti anche voler esplorare un po 'i tuoi dati e vedere se riesci a trovare sorprese potenzialmente interessanti che potrebbero valere la pena di seguire.

Prima di segnalare questo e questo e questo e questo, inizia formulando cosa vuoi imparare dai tuoi dati sperimentali. Il problema principale con i soliti test di ipotesi (questi test che impariamo a scuola ...) non è la binarietà: il problema principale è che si tratta di test per ipotesi che non sono ipotesi di interesse. Vedi la diapositiva 13 qui (scarica il pdf per apprezzare le animazioni). Per quanto riguarda le dimensioni dell'effetto, non esiste una definizione generale di questa nozione . Francamente non consiglierei di usarlo per statistici non esperti, si tratta di misure tecniche, non naturali, di "effetto". La tua ipotesi di interesse dovrebbe essere formulata in termini comprensibili dai laici.

Sono tutt'altro che un esperto di statistica, ma una cosa che è stata enfatizzata nei corsi di statistica che ho fatto finora è la questione del "significato pratico". Credo che ciò alluda a ciò di cui Jeromy e Gung parlano quando si parla di "dimensione dell'effetto".

Abbiamo avuto un esempio in classe di una dieta di 12 settimane che ha avuto risultati statisticamente significativi di perdita di peso, ma l'intervallo di confidenza del 95% ha mostrato una perdita di peso media compresa tra 0,2 e 1,2 kg (OK, i dati sono stati probabilmente inventati ma illustra un punto) . Mentre "statisticamente significativamente" "diverso da zero, una perdita di peso di 200 grammi in 12 settimane è un risultato" praticamente significativo "per una persona in sovrappeso che cerca di rimanere in salute?

È impossibile rispondere con precisione senza conoscere maggiori dettagli del tuo studio e delle critiche della persona. Ma ecco una possibilità: se hai eseguito più test e hai scelto di concentrarti su quello che è venuto fuori p<0.05e di ignorarne altri, allora quel "significato" è stato diluito dal fatto della tua attenzione selettiva ad esso. Come pompa di intuizione per questo, ricorda che p=0.05significa "questo risultato avverrebbe per caso (solo) il 5% delle volte, anche se l'ipotesi nulla è vera". Quindi, più test si eseguono, più è probabile che almeno uno di questi sia un risultato "significativo" solo per caso, anche se non vi è alcun effetto. Vedi http://en.wikipedia.org/wiki/Multiple_comparisons e http://en.wikipedia.org/wiki/Post-hoc_analysis

Ti suggerisco di leggere quanto segue:

Anderson, DR, Burnham, KP, Thompson, WL, 2000. Test di ipotesi nulla: problemi, prevalenza e un'alternativa. J. Wildl. Gestire. 64, 912-923. Gigerenzer, G., 2004. Statistiche senza cervello. Journal of Socio-Economics 33, 587-606. Johnson, DH, 1999. The Insignificance of Statistical Significance Testing. The Journal of Wildlife Management 63, 763-772.

Le ipotesi nulla sono raramente interessanti nel senso che, da qualsiasi esperimento o serie di osservazioni, ci sono due risultati: rifiutare correttamente il nulla o commettere un errore di tipo II. La dimensione dell'effetto è ciò che probabilmente sei interessante nel determinare e, una volta fatto, dovresti produrre intervalli di confidenza per quella dimensione dell'effetto.