Quali sono i peccati statistici comuni?

Sono uno studente laureato in psicologia e mentre perseguo studi sempre più indipendenti in statistica, sono sempre più sorpreso dall'inadeguatezza della mia formazione formale. Sia l'esperienza personale che quella di seconda mano suggeriscono che la scarsità di rigore statistico nella formazione universitaria e universitaria è piuttosto onnipresente nella psicologia. In quanto tale, ho pensato che sarebbe utile per gli studenti indipendenti come me creare un elenco di "peccati statistici", tabulando le pratiche statistiche insegnate agli studenti laureati come pratica standard che sono in realtà sostituite da superiori (più potenti o flessibili, oppure metodi moderni robusti, ecc.) o mostrati francamente non validi. Anticipando che anche altri campi potrebbero sperimentare una situazione simile, propongo un wiki della comunità in cui possiamo raccogliere un elenco di peccati statistici in tutte le discipline.

Non riesco a guardare (tracciare) i dati.

La maggior parte delle interpretazioni dei valori p sono peccaminose! L'uso convenzionale dei valori di p è gravemente imperfetto; un fatto che, a mio avviso, mette in discussione gli approcci standard all'insegnamento di test di ipotesi e test di significato.

Haller e Krause hanno scoperto che gli istruttori statistici hanno quasi la stessa probabilità degli studenti di interpretare erroneamente i valori p. (Fai il test nel loro articolo e guarda come fai.) Steve Goodman è un buon caso per scartare l'uso convenzionale (errato) del valore p in favore delle probabilità. Anche la carta Hubbard merita una visita.

Haller e Krauss. Interpretazioni errate di significato: un problema che gli studenti condividono con i loro insegnanti . Metodi di ricerca psicologica (2002) vol. 7 (1) pp. 1-20 ( PDF )

Hubbard e Bayarri. Confusione su misure di evidenza (p) contro errori (α) nei test statistici classici . The American Statistician (2003) vol. 57 (3)

Buon uomo. Verso statistiche mediche basate sull'evidenza. 1: L'errore di valore P. Ann Intern Med (1999) vol. 130 (12) pagg. 995-1004 ( PDF )

Vedi anche:

Wagenmakers, EJ. Una soluzione pratica ai problemi pervasivi dei valori di p. Psychonomic Bulletin & Review, 14 (5), 779-804.

per alcuni casi chiari in cui persino l'interpretazione nominalmente "corretta" di un valore p è stata resa errata a causa delle scelte fatte dallo sperimentatore.

Aggiornamento (2016) : nel 2016 l'American Statistical Association ha rilasciato una dichiarazione sui valori p, vedere qui . Questa è stata, in un certo senso, una risposta al "divieto di valori p" pubblicato da un giornale di psicologia circa un anno prima.

La trappola più pericolosa che ho riscontrato quando ho lavorato su un modello predittivo non è prenotare un set di dati di test in anticipo per dedicarlo alla valutazione "finale" delle prestazioni.

È davvero facile sopravvalutare l'accuratezza predittiva del tuo modello se hai la possibilità di utilizzare in qualche modo i dati di test quando modifichi i parametri, selezionando il precedente, selezionando l'algoritmo di apprendimento che interrompe il criterio ...

Per evitare questo problema, prima di iniziare a lavorare su un nuovo set di dati è necessario dividere i dati come:

• set di sviluppo
• set di valutazione

Quindi dividi il tuo set di sviluppo come "set di sviluppo del training" e "set di sviluppo del testing" in cui usi il set di sviluppo del training per addestrare vari modelli con parametri diversi e selezionare i migliori in base alle prestazioni sul set di sviluppo del testing. Puoi anche eseguire la ricerca della griglia con convalida incrociata ma solo sul set di sviluppo. Non utilizzare mai il set di valutazione mentre la selezione del modello non viene eseguita al 100%.

Una volta che si è sicuri della selezione del modello e dei parametri, eseguire una convalida incrociata di 10 volte sul set di valutazione per avere un'idea della precisione predittiva "reale" del modello selezionato.

Inoltre, se i tuoi dati sono temporali, è meglio scegliere la suddivisione sviluppo / valutazione su un codice temporale: "È difficile fare previsioni, soprattutto per il futuro".

Riportare i valori p quando si eseguiva il data mining (scoperta di ipotesi) anziché le statistiche (test di ipotesi).

Verifica delle ipotesi contro (ad esempio in un'impostazione gaussiana)H 1 : μ ≠ $H_0: \mu=0$$H_1: \mu\neq 0$

per giustificare che in un modello (ovvero il mix " non è rifiutato" e " è vero").H 0 H $\mu=0$$H_0$$H_0$

Un ottimo esempio di quel tipo di ragionamento (molto negativo) è quando si verifica se le varianze di due gaussiani sono uguali (o meno) prima di verificare se la loro media è uguale o meno con l'assunzione di una varianza uguale.

Un altro esempio si verifica quando si verifica la normalità (rispetto alla non normalità) per giustificare la normalità. Ogni statistico lo ha fatto nella vita? è baaad :) (e dovrebbe spingere le persone a verificare la solidità alla non gaussianità)

Alcuni errori che mi danno fastidio:

1. Supponendo che gli stimatori imparziali siano sempre migliori degli stimatori distorti.

2. Supponendo che un alto implichi un modello buono, un basso implica un modello cattivo.R $R^2$$R^2$

3. Interpretazione / applicazione errata della correlazione.

4. Stime dei punti di segnalazione senza errori standard.

5. Utilizzo di metodi che assumono una sorta di normalità multivariata (come l'analisi lineare discriminante) quando sono disponibili metodi non / semiparametrici più robusti, più performanti.

6. Usare il valore p come misura di forza tra un predittore e la risposta, piuttosto che come misura di quante prove ci siano di alcune relazioni.

Dicotomizzazione di una variabile predittiva continua per "semplificare" l'analisi o per risolvere il "problema" della non linearità nell'effetto del predittore continuo.

Non rispondo davvero alla domanda, ma c'è un intero libro su questo argomento:

Phillip I. Good, James William Hardin (2003). Errori comuni nelle statistiche (e come evitarli). Wiley. ISBN 9780471460688

interpretando Probability(data | hypothesis)come Probability(hypothesis | data)senza l'applicazione del teorema di Bayes.

Statistiche ritualizzate.

Questo "peccato" è quando applichi qualunque cosa ti sia stata insegnata, indipendentemente dalla sua adeguatezza, perché è come le cose vengono fatte. Sono le statistiche per ordine, un livello sopra che consente alla macchina di scegliere le statistiche per te.

Esempi sono gli studenti introduttivi a livello statistico che cercano di far sì che tutto si adatti al loro modesto t-test e al toolkit ANOVA, o ogni volta che ci si trova ad andare "Oh, ho dati categorici, dovrei usare X" senza mai smettere di guardare dati o considera la domanda che viene posta.

Una variazione su questo peccato implica l'uso di codice che non si capisce per produrre un output che solo si capisce, ma si conosce "la quinta colonna, circa 8 righe in basso" o qualunque sia la risposta che si dovrebbe cercare.

Forse regressione graduale e altre forme di test dopo la selezione del modello.

La selezione di variabili indipendenti per la modellazione senza avere alcuna ipotesi a priori dietro le relazioni esistenti può portare a errori logici o correlazioni spurie, tra gli altri errori.

Riferimenti utili (dal punto di vista biologico / biostatistico):

1. Kozak, M., e Azevedo, R. (2011). È sensato utilizzare la selezione di variabili graduali per creare modelli di analisi del percorso sequenziale? Physiologia plantarum, 141 (3), 197–200. doi: 10.1111 / j.1399-3054.2010.01431.x

2. Whittingham, MJ, Stephens, P., Bradbury, RB e Freckleton, RP (2006). Perché utilizziamo ancora la modellazione graduale in ecologia e comportamento? The Journal of animal ecology, 75 (5), 1182-9. doi: 10.1111 / j.1365-2656.2006.01141.x

3. Frank Harrell, Regressione Modeling Strategies , Springer 2001.

Qualcosa che vedo una quantità sorprendente negli articoli della conferenza e persino nelle riviste sta facendo paragoni multipli (ad esempio di correlazioni bivariate) e quindi riportando tutti i p <.05 come "significativi" (ignorando la correttezza o l'erroneità di quello per il momento).

So anche cosa intendi per laureati in psicologia: ho finito un dottorato in psicologia e sto ancora imparando davvero. È piuttosto male, penso che la psicologia debba prendere più seriamente l'analisi quantitativa dei dati se vogliamo usarla (che, chiaramente, dovremmo)

Essere esplorativi ma fingere di essere confermativi. Ciò può accadere quando si modifica la strategia di analisi (ad esempio adattamento del modello, selezione delle variabili e così via) basata sui dati o sui risultati, ma non dichiarando apertamente questo e quindi riportando solo i risultati "migliori" (cioè con i valori p più piccoli) come se era stata l'unica analisi. Ciò vale anche al punto se più test effettuati da Chris Beeley e danno luogo a un alto tasso di falsi positivi nei rapporti scientifici.

Quello che vedo abbastanza spesso e macina sempre i miei ingranaggi è l'assunto che un effetto principale statisticamente significativo in un gruppo e un effetto principale non statisticamente significativo in un altro gruppo implica un effetto significativo x l'interazione di gruppo.

Soprattutto in epidemiologia e sanità pubblica - usando l'aritmetica anziché la scala logaritmica quando si riportano i grafici delle relative misure di associazione (hazard ratio, odds ratio o risk ratio).

Maggiori informazioni qui .

La correlazione implica una causalità, che non è così grave come accettare l'ipotesi nulla.

Analisi dei dati di velocità (accuratezza, ecc.) Mediante ANOVA, assumendo quindi che i dati di velocità abbiano errori di distribuzione gaussiana quando sono effettivamente distribuiti binomialmente. Dixon (2008) fornisce una discussione sulle conseguenze di questo peccato e l'esplorazione di approcci di analisi più appropriati.

Un modello popolare attuale sta pianificando intervalli di confidenza al 95% attorno ai valori di prestazione grezzi in progetti di misure ripetute quando si riferiscono solo alla varianza di un effetto. Ad esempio, un diagramma dei tempi di reazione in un disegno di misure ripetute con intervalli di confidenza in cui il termine di errore è derivato dal MSE di un ANOVA di misure ripetute. Questi intervalli di confidenza non rappresentano nulla di sensato. Certamente non rappresentano nulla del tempo di reazione assoluto. È possibile utilizzare il termine di errore per generare intervalli di confidenza attorno all'effetto, ma ciò avviene raramente.

Mentre posso fare riferimento a gran parte di ciò che dice Michael Lew, abbandonare i valori di p in favore dei rapporti di probabilità manca ancora un problema più generale: quello di dare troppa enfasi ai risultati probabilistici rispetto alle dimensioni degli effetti, che sono necessari per dare un significato sostanziale al risultato. Questo tipo di errore si presenta in tutte le forme e dimensioni e trovo che sia l'errore statistico più insidioso. Attingendo a J. Cohen e M. Oakes e altri, ho scritto un pezzo su questo su http://integrativestatistics.com/insidious.htm .

Non riuscire a testare l'assunto che l'errore è normalmente distribuito e ha una variazione costante tra i trattamenti. Questi presupposti non sono sempre testati, quindi l'adattamento del modello dei minimi quadrati viene probabilmente utilizzato spesso quando è effettivamente inappropriato.

Il mio corso di psicometria introduttiva a undergrad ha trascorso almeno due settimane a insegnare come eseguire una regressione graduale. Esiste una situazione in cui la regressione graduale è una buona idea?

Il mio vecchio professore di statistiche aveva una "regola empirica" ​​per gestire i valori anomali: se vedi un valore anomalo sul grafico a dispersione, coprilo con il pollice :)

Questa potrebbe essere più una risposta alle statistiche pop di quella che stai cercando, ma:

Usare la media come indicatore di posizione quando i dati sono fortemente distorti .

Questo non è necessariamente un problema, se tu e il tuo pubblico sapete di cosa state parlando, ma in genere non è così, e la mediana spesso è in grado di dare un'idea migliore di ciò che sta accadendo.

Il mio esempio preferito sono i salari medi, che di solito sono indicati come "salari medi". A seconda della disparità di reddito / ricchezza in un paese, questo può essere molto diverso dal salario mediano, che fornisce un indicatore molto migliore di dove si trovano le persone nella vita reale. Ad esempio, in Australia, dove abbiamo una disuguaglianza relativamente bassa, la mediana è inferiore del 10-15% rispetto alla media . Negli Stati Uniti la differenza è molto più netta , la mediana è inferiore al 70% della media e il divario sta aumentando.

I rapporti sul salario "medio" (medio) danno come risultato un quadro più roseo di quanto sia giustificato e potrebbero anche dare a un gran numero di persone la falsa impressione di non guadagnare tanto quanto le persone "normali".

Che il valore p è la probabilità che l'ipotesi nulla sia vera e (1-p) è la probabilità che l'ipotesi alternativa sia vera, che non riuscire a respingere l'ipotesi nulla significa che l'ipotesi alternativa è falsa ecc.

In modo simile a @dirkan - L'uso dei valori p come misura formale dell'evidenza dell'ipotesi nulla è vero. Ha alcune buone caratteristiche euristiche e intuitivamente buone, ma è essenzialmente una misura incompleta delle prove perché non fa alcun riferimento all'ipotesi alternativa. Mentre i dati possono essere improbabili sotto il valore null (portando a un piccolo valore p), i dati possono essere ancora più improbabili sotto l'ipotesi alternativa.

$\rightarrow$$\rightarrow$

Utilizzo dei grafici a torta per illustrare le frequenze relative. Più qui .

Utilizzo di statistiche / probabilità nel test di ipotesi per misurare la "verità assoluta". Le statistiche semplicemente non possono farlo, possono solo essere utili nel decidere tra alternative , che devono essere specificate dall'esterno del paradigma statistico. Dichiarazioni come "l'ipotesi nulla è dimostrata vera dalle statistiche" sono semplicemente errate; le statistiche possono solo dirti "l'ipotesi nulla è favorita dai dati, rispetto all'ipotesi alternativa". Se poi supponi che l'ipotesi nulla o l'alternativa debbano essere vere, puoi dire "il nulla si è dimostrato vero", ma questa è solo una banale conseguenza del tuo presupposto, non nulla dimostrato dai dati.

$\alpha = 0.05$

E in modo simile alla (o quasi la stessa) risposta di @grisel , eseguendo una ricerca sulla griglia e riportando solo il miglior risultato.

(Con un po 'di fortuna questo sarà controverso.)

Utilizzando un approccio Neyman-Pearson all'analisi statistica di esperimenti scientifici. O, peggio ancora, usando un ibrido mal definito di Neyman-Pearson e Fisher.

Richiedere e forse ottenere il diagramma di flusso : quella cosa grafica in cui dici quale sia il livello delle tue variabili e che tipo di relazione stai cercando, e segui le frecce verso il basso per ottenere un test del marchio o una statistica del marchio . A volte offerti con misteriosi percorsi "parametrici" e "non parametrici".