Come infastidire un arbitro statistico?

Di recente ho posto una domanda relativa ai principi generali relativi alla revisione delle statistiche nei documenti . Quello che vorrei ora chiederti è ciò che ti irrita particolarmente quando rivedi un articolo, ovvero qual è il modo migliore per infastidire davvero un arbitro statistico!

Un esempio per risposta, per favore.

Ciò che mi irrita particolarmente personalmente sono le persone che hanno chiaramente usato pacchetti scritti dall'utente per software statistico ma non li citano correttamente, o per nulla, non dando così credito agli autori. Ciò è particolarmente importante quando gli autori sono nel mondo accademico e il loro lavoro dipende da pubblicazioni editoriali che vengono citate . (Forse dovrei aggiungere che, nel mio campo, molti dei colpevoli non sono statistici.)

Dio mio, mi vengono in mente tante cose ...

• Regressione graduale

• Dividere i dati continui in gruppi

• Fornire valori p ma nessuna misura della dimensione dell'effetto

• Descrivere i dati usando la media e la deviazione standard senza indicare se i dati erano più o meno simmetrici e unimodali

• Cifre senza didascalie chiare (quelle barre di errore sono errori standard della media o deviazioni standard all'interno dei gruppi o cosa?)

Irene Stratton e un collega hanno pubblicato un breve articolo su una domanda strettamente correlata:

Stratton IM, Neil A. Come garantire che il tuo documento venga rifiutato dal revisore statistico . Medicina diabetica 2005; 22 (4): 371-373.

Il codice utilizzato per generare i risultati simulati non viene fornito. Dopo aver richiesto il codice, richiede ulteriore lavoro per farlo funzionare su un set di dati generato dall'arbitro.

Plagio (teorico o metodologico). La mia prima recensione è stata davvero per un articolo che illustrava molti copia / incolla senza referenze da un documento metodologico ben consolidato pubblicato 10 anni fa.

Ho appena trovato un paio di articoli interessanti su questo argomento: autore e plagio nella scienza .

Allo stesso modo, trovo la falsificazione (di dati o risultati) il peggiore di tutti.

Quando chiediamo agli autori

1. piccolo commento su un'idea che abbiamo (in questo senso, questo non è considerato come un motivo per rifiutare il documento ma solo per essere sicuri che gli autori siano in grado di discutere un altro POV), oppure
2. risultati poco chiari o contraddittori,

e che gli autori non rispondono realmente nel caso (1) o che i risultati incriminati in (2) scompaiano dalla SM.

Valori p confusi e dimensione dell'effetto (cioè affermare che il mio effetto è grande perché ho un valore p davvero minuscolo).

Leggermente diverso dalla risposta di Stephan di escludere le dimensioni degli effetti ma dare valori p. Sono d'accordo che dovresti dare entrambi (e speriamo di capire la differenza!)

Non comprese le dimensioni degli effetti.

In tutta la ricerca (devo riconoscere il mio professore di scuola di specializzazione preferito per quella linea).

Dare un numero assurdo di cifre (i maschi hanno guadagnato 3.102019 sterline in più rispetto alle femmine)

Non includere i numeri di pagina (che rende più difficile la revisione)

Figure e tabelle in numero errato

(come già accennato - graduale e categorizzare le variabili continue)

Quando non spiegano sufficientemente la loro analisi e / o includono semplici errori che rendono difficile capire cosa è stato effettivamente fatto. Ciò include spesso gettare un sacco di gergo, a titolo di spiegazione, che è più ambiguo di quanto l'autore sembri realizzare e potrebbe anche essere utilizzato in modo improprio.

L'uso del linguaggio causale per descrivere le associazioni nei dati osservazionali quando le variabili omesse sono quasi certamente una preoccupazione seria.

Quando gli autori usano un test statistico che conoscono (nel mio campo, di solito un test t o un ANOVA), all'infinito, indipendentemente dal fatto che sia appropriato. Di recente ho recensito un documento in cui gli autori volevano confrontare una dozzina di diversi gruppi di trattamento, quindi avevano fatto un test t a due campioni per ogni possibile coppia di trattamenti ...

Trovare nuove parole per i concetti esistenti o, viceversa, usare i termini esistenti per indicare qualcosa di diverso.

Alcuni dei differenziali terminologici esistenti si sono a lungo stabiliti in letteratura: dati longitudinali in biostatistica rispetto a dati panel in econometria; indicatori di causa ed effetto in sociologia contro indicatori formativi e riflessivi in ​​psicologia; ecc. Li odio ancora, ma almeno puoi trovare alcune migliaia di riferimenti a ciascuno di essi nelle rispettive letterature. La più recente è tutta questa parte del lavoro sui grafici aciclici diretti nella letteratura causale: la maggior parte, se non tutta, della teoria dell'identificazione e della stima in queste è stata sviluppata dagli econometrici negli anni '50 sotto il nome di equazioni simultanee.

Il termine che ha un significato doppio, se non triplo, è "robusto" e i diversi significati sono spesso contraddittori. Gli errori standard "robusti" non sono robusti per i valori anomali lontani; inoltre, non sono robusti per contrastare qualsiasi cosa tranne la presunta deviazione dal modello, e spesso hanno prestazioni mediocri del campione. Gli errori standard di White non sono robusti rispetto alle correlazioni seriali o di cluster; errori standard "robusti" in SEM non sono robusti rispetto alle errate specifiche della struttura del modello (percorsi o variabili omessi). Proprio come con l'idea del test di significatività dell'ipotesi nulla, è impossibile puntare il dito su chiunque e dire: "Sei responsabile di confondere diverse generazioni di ricercatori per aver coniato questo concetto che non si distingue davvero per il suo nome".

Zero considerazione dei dati mancanti.

Molte applicazioni pratiche utilizzano dati per i quali ci sono almeno alcuni valori mancanti. Questo è certamente vero in epidemiologia. I dati mancanti presentano problemi per molti metodi statistici, inclusi i modelli lineari. I dati mancanti con modelli lineari vengono spesso gestiti attraverso la cancellazione di casi con dati mancanti su qualsiasi covariata. Questo è un problema, a meno che non manchino i dati partendo dal presupposto che i dati manchino completamente a caso (MCAR).

Forse 10 anni fa, era ragionevole pubblicare risultati da modelli lineari senza ulteriori considerazioni sulla mancanza. Sono certamente colpevole di questo. Tuttavia, sono ora disponibili ottimi consigli su come gestire i dati mancanti con imputazione multipla, così come pacchetti / modelli / librerie / etc statistici. facilitare analisi più appropriate in base a presupposti più ragionevoli quando è presente la mancanza.

Segnalare effetti che "si avvicinano alla significatività (p <.10 per esempio) e poi scrivono su di loro come se avessero raggiunto la significatività a un livello più rigoroso e accettabile. Esecuzione di più modelli di equazioni strutturali che non erano nidificati e quindi scrivendo su di essi come se erano nidificati. Prendendo una strategia analitica ben consolidata e presentandola come se nessuno avesse mai pensato di usarla prima. Forse questo si qualifica come plagio all'ennesima potenza.

Raccomando i seguenti due articoli:

Martin Bland:
come sconvolgere l'arbitro statistico
Si basa su una serie di discorsi tenuti da Martin Bland, insieme ai dati di altri arbitri statistici ("un campione di convenienza con un basso tasso di risposta"). Termina con un elenco di 11 punti di "[h] ow per evitare di turbare l'arbitro statistico".

Stian Lydersen:
Revisione statistica: commenti frequentemente forniti
Questo recente documento (pubblicato 2014/2015) elenca i 14 commenti di revisione più comuni dell'autore, basati su ca. 200 revisioni statistiche di articoli scientifici (in una particolare rivista). Ogni commento ha una breve spiegazione del problema e istruzioni su come eseguire correttamente l'analisi / reportistica. L'elenco dei riferimenti citati è un tesoro di documenti interessanti.

Sono più (e più frequentemente) infastidito dalla "convalida" che mira all'errore di generalizzazione dei modelli predittivi in ​​cui i dati del test non sono indipendenti (ad esempio, in genere misurazioni multiple per paziente nei dati, fuori dal bagagliaio o misurazioni di suddivisione incrociata non pazienti ).

Ancora più fastidiosi, documenti che danno risultati così errati di convalida incrociata oltre a un set di test indipendente che dimostra la distorsione eccessiva della convalida incrociata, ma non una sola parola che il design della convalida incrociata è sbagliato ...

(Sarei perfettamente felice se gli stessi dati venissero presentati "sappiamo che la validazione incrociata dovrebbe dividere i pazienti, ma siamo bloccati con un software che non lo consente. Pertanto abbiamo testato un set di pazienti test davvero indipendenti ")

(Sono anche consapevole che il bootstrap = ricampionamento con sostituzione di solito funziona meglio della validazione incrociata = ricampionamento senza sostituzione. Tuttavia, abbiamo trovato dati spettroscopici (spettri simulati e configurazione del modello leggermente artificiale ma spettri reali) che ripetevano / ripetevano la convalida incrociata e l'output -of-bootstrap aveva un'incertezza generale simile; oob aveva più preconcetti ma meno varianza - per il rewieving, sto osservando questo da una prospettiva molto pragmatica: la convalida incrociata ripetuta rispetto al bootstrap non importa fino a quando molti documenti non dividere in base al paziente né riferire / discutere / menzionare l'incertezza casuale a causa delle dimensioni limitate del campione del test.)

Oltre ad avere torto, questo ha anche l'effetto collaterale che le persone che fanno una corretta validazione spesso devono difendere il motivo per cui i loro risultati sono molto peggio di tutti gli altri risultati in letteratura.

Utilizzo dei "dati" in un senso singolare. I dati SONO, non lo sono mai.

Per me è di gran lunga attribuire la causa senza un'adeguata analisi causale o quando c'è un'inferenza causale impropria.

Lo odio anche quando non si presta attenzione a come sono stati gestiti i dati mancanti. Vedo anche molti articoli in cui gli autori eseguono semplicemente un'analisi completa dei casi e non menzionano se i risultati sono generalizzabili alla popolazione con valori mancanti o come la popolazione con valori mancanti possa essere sistematicamente diversa dalla popolazione con dati completi.

Utilizzo di Microsoft Word anziché di LaTeX.