È sbagliato riferirsi ai risultati come "quasi" o "piuttosto" significativi?

Il consenso generale su una domanda simile, è sbagliato riferirsi ai risultati come "altamente significativi"? è che "altamente significativo" è un modo valido, anche se non specifico, per descrivere la forza di un'associazione che ha un valore p molto inferiore alla soglia di significatività preimpostata. Tuttavia, che dire della descrizione di valori p leggermente superiori alla soglia? Ho visto alcuni articoli usare termini come "piuttosto significativo", "quasi significativo", "significato prossimo" e così via. Trovo che questi termini siano un po 'ambiziosi, in alcuni casi un modo disingenuo limite di trarre un risultato significativo da uno studio con risultati negativi. Questi termini sono accettabili per descrivere i risultati che "mancano" al valore soglia del valore p?

Se vuoi consentire che il "significato" ammetta dei gradi, allora abbastanza giusto ("un po 'significativo", "abbastanza significativo"), ma evita le frasi che suggeriscono che sei ancora legato all'idea di una soglia, come "quasi significativo" , "avvicinarsi al significato" o "alla cuspide del significato" (il mio preferito da "Still Not Significant" sul blog Probable Error ), se non vuoi apparire disperato.

Dal mio punto di vista, il problema si riduce a cosa significhi effettivamente eseguire un test di significatività. Il test di significatività è stato concepito come mezzo per prendere la decisione di rifiutare l'ipotesi nulla o di non respingerla. Fisher stesso ha introdotto la famigerata regola 0.05 per prendere quella (arbitraria) decisione.

Fondamentalmente, la logica del test di significatività è che l'utente deve specificare un livello alfa per rifiutare l'ipotesi nulla (convenzionalmente 0,05) prima di raccogliere i dati . Dopo aver completato il test di significatività, l'utente rifiuta il valore null se il valore p è inferiore al livello alfa (o non riesce a rifiutarlo altrimenti).

Il motivo per cui non puoi dichiarare un effetto altamente significativo (diciamo, a livello di 0,001) è perché non puoi trovare prove più forti di quelle che hai deciso di trovare. Pertanto, se imposti il ​​livello alfa a 0,05 prima del test, puoi trovare prove solo al livello 0,05, indipendentemente da quanto piccoli siano i tuoi valori p. Allo stesso modo, parlare di effetti che sono "in qualche modo significativi" o "significato in avvicinamento" non ha molto senso perché hai scelto questo criterio arbitrario di 0,05. Se interpretate la logica del test di significatività alla lettera, qualcosa di più grande di 0,05 non è significativo.

Concordo sul fatto che termini come "avvicinarsi al significato" sono spesso usati per migliorare le prospettive di pubblicazione. Tuttavia, non credo che gli autori possano essere biasimati per questo perché l'attuale cultura editoriale in alcune scienze si basa ancora pesantemente sul "santo graal" di 0,05.

Alcuni di questi problemi sono discussi in:

Gigerenzer, G. (2004). Statistiche insensate. The Journal of Socio-Economics, 33 (5), 587-606.

Royall, R. (1997). Prove statistiche: un paradigma della verosimiglianza (Vol. 71). CRC premere.

Questa pendenza scivolosa richiama il framework Fisher vs Neyman / Pearson per i test di significatività a ipotesi nulla (NHST). Da un lato, si vuole fare una valutazione quantitativa di quanto sia improbabile un risultato sotto l'ipotesi nulla (ad es. Dimensioni dell'effetto). D'altra parte, alla fine della giornata, vuoi una decisione discreta sul fatto che i tuoi risultati siano o non siano probabilmente dovuti al solo caso. Quello che abbiamo finito è un tipo di approccio ibrido che non è molto soddisfacente.

Nella maggior parte delle discipline, la p convenzionale per significatività è fissata a 0,05, ma in realtà non esiste alcun motivo per cui ciò debba essere così. Quando rivedo un articolo, non ho assolutamente alcun problema con un autore che chiama 0,06 significativo, o addirittura 0,07, a condizione che la metodologia sia valida e l'intera immagine, comprese tutte le analisi, le figure, ecc. Raccontino una storia coerente e credibile. Il punto in cui si verificano problemi è quando gli autori tentano di creare una storia con dati banali con effetti di piccole dimensioni. Al contrario, potrei non "credere" completamente che un test sia praticamente significativo anche quando raggiunge un significato p <0,05 convenzionale. Un mio collega una volta disse: "Le tue statistiche dovrebbero semplicemente eseguire il backup di ciò che è già evidente nelle tue figure".

Detto questo, penso che Vasilev abbia ragione. Dato il rotto sistema di pubblicazione, devi praticamente includere i valori di p, e quindi devi usare la parola "significativo" per essere preso sul serio, anche se richiede aggettivi come "marginalmente" (che preferisco). Puoi sempre combatterlo nella revisione tra pari, ma devi prima arrivarci.

La differenza tra due valori p in sé non è in genere significativa. Quindi, non importa se il tuo valore p è 0,05, 0,049, 0,051 ...

Per quanto riguarda i valori di p come misura della forza dell'associazione: un valore di p non è direttamente una misura della forza dell'associazione. Un valore p è la probabilità di trovare dati estremi o più estremi dei dati che hai osservato, dato che si ipotizza che il parametro sia 0 (se uno è interessato all'ipotesi nulla - vedi il commento di Nick Cox). Tuttavia, questa non è spesso la quantità a cui il ricercatore è interessato. Molti ricercatori sono piuttosto interessati a rispondere a domande come "qual è la probabilità che il parametro sia maggiore di un valore di cut-off scelto?" Se questo è ciò che ti interessa, devi incorporare ulteriori informazioni preliminari nel tuo modello.

$p<\alpha$$p>\alpha$(non forza dell'effetto, ovviamente). Per un tale "continuualista", "quasi significativo" è un modo sensato per descrivere un risultato con un valore p moderato. Il problema sorge quando le persone mescolano queste due filosofie - o peggio, non sono consapevoli che entrambe esistono. (A proposito - le persone spesso assumono queste mappe in modo pulito su Neyman / Pearson e Fisher, ma non lo fanno; quindi i miei termini, ammettibilmente, goffi per loro). Maggiori dettagli su questo in un post di blog su questo argomento qui: https://scientistseessquirrel.wordpress.com/2015/11/16/is-nearly-significant-ridiculous/

Tendo a pensare che dire qualcosa di statisticamente significativo non sia corretto dal punto di vista tecnico. Una volta impostato il livello di tolleranza, viene impostato il test statistico di significatività. Devi tornare all'idea delle distribuzioni di campionamento. Se il tuo livello di tolleranza è di 0,05 e ti capita di ottenere un valore p di 0,053, è solo per caso che il campione utilizzato ha prodotto quella statistica. Si potrebbe benissimo ottenere un altro campione che potrebbe non produrre gli stessi risultati. Credo che la probabilità che si verifichi si basi sul livello di tolleranza impostato e non sulla statistica del campione. Ricordare che si stanno testando campioni con un parametro di popolazione e i campioni hanno una propria distribuzione di campionamento. Quindi, secondo me, o qualcosa è statisticamente significativo o non lo è.

$[0,1]$$\mathcal{H}_0$$p > \alpha$

$\mathcal{H}_1$

Vedi ad esempio Wikipedia .