Revisione delle statistiche sui documenti

Per alcuni di noi, i documenti di arbitrato fanno parte del lavoro. Per quanto riguarda l'arbitraggio di documenti di metodologia statistica, ritengo che i consigli di altre aree disciplinari siano abbastanza utili, ovvero informatica e matematica .

Questa domanda riguarda la revisione di più documenti statistici applicati. Con questo intendo, il documento è sottoposto a un giornale non statistico / matematico e le statistiche sono appena menzionate nella sezione "metodi".

Alcune domande particolari:

1. Quanto impegno dovremmo impegnarci per comprendere l'area di applicazione?
2. Quanto tempo devo dedicare a un rapporto?
3. Quanto sei esigente quando guardi figure / tavoli.
4. Come gestisci i dati non disponibili?
5. Cerchi di rieseguire l'analisi utilizzata.
6. Qual è il numero massimo di articoli che esamineresti in un anno?

Hai perso qualche domanda? Sentiti libero di modificare o aggiungere un commento.

modificare

Sto arrivando a questa domanda come statistico che sta esaminando un articolo di biologia, ma sono interessato alla revisione statistica di qualsiasi disciplina non matematica.

Non sono sicuro se questo dovrebbe essere un CW. Da un lato è un po 'aperto, ma dall'altro posso vedermi accettare una risposta. Inoltre, le risposte saranno probabilmente abbastanza lunghe.

Non sono sicuro di quale settore scientifico ti riferisca (sono sicuro che la risposta sarebbe davvero diversa se, ad esempio, avessi a che fare con la biologia contro la fisica ...)

Comunque, come biologo, risponderò da un punto di vista "biologico":

Quanto impegno dovremmo impegnarci per comprendere l'area di applicazione?

Tendo almeno a leggere gli articoli precedenti degli stessi autori e cerco qualche recensione sull'argomento se non ne ho troppa familiarità. Ciò è particolarmente vero quando si tratta di nuove tecniche che non conosco, perché devo capire se hanno fatto tutti i controlli adeguati, ecc.

Quanto tempo devo dedicare a un rapporto?

Per quanto necessario (OK, risposta stupida, lo so!: P) In generale, non vorrei che qualcuno rivedesse il mio documento per fare un lavoro approssimativo solo perché ha altre cose da fare, quindi provo a non farlo da solo .

Quanto sei esigente quando guardi figure / tavoli.

Abbastanza esigente. Le figure sono la prima cosa che guardi quando sfogli un foglio. Devono essere coerenti (ad es. Titoli corretti sugli assi, legenda corretta ecc.). A volte ho suggerito di usare un diverso tipo di trama per mostrare i dati quando pensavo che quello usato non fosse il migliore. Questo accade molto in biologia, un campo dominato dal tipo di grafico "barplot +/- SEM". Sono anche piuttosto esigente nella sezione "materiali e metodi": un'analisi statistica perfetta su un modello biologico intrinsecamente sbagliato è completamente inutile.

Come gestisci i dati non disponibili?

Devi solo fidarti degli autori, suppongo. In molti casi in biologia non c'è molto che puoi fare, soprattutto quando hai a che fare con immagini come l'imaging o il comportamento degli animali e simili. A meno che tu non voglia che le persone pubblichino tonnellate di immagini, video ecc. (Che molto probabilmente non passeresti comunque), ma ciò potrebbe essere poco pratico. Se ritieni che i dati siano davvero necessari chiedi agli autori di fornirli come dati / cifre supplementari.

Cerchi di rieseguire l'analisi utilizzata.

Solo se avessi seri dubbi sulle conclusioni tratte dagli autori. In biologia c'è spesso una differenza tra ciò che è (o no) "statisticamente significativo" e ciò che è "biologicamente significativo". Preferisco un'analisi statistica più sottile con un buon ragionamento biologico rispetto al contrario. Ma ancora una volta, nell'improbabile caso in cui avrei dovuto rivedere un articolo di bio-statistica (ahah, sarebbe un po 'divertente !!!) Probabilmente presterei molta più attenzione alle statistiche che alla biologia lì dentro.

$x$$3/(x/100)$, se il tasso di accettazione è del 33%, gli editori devono ottenere nove recensioni per ogni articolo pubblicato. Se tu, come autore, prendi sul serio questo, allora dovresti provare a fornire nove recensioni (o qualunque sia il numero risultante per le tue riviste di destinazione) per ogni articolo che pubblichi!

$r$$r/10$$r/5$ $r/10$

Il mio punto di vista sarebbe rivedere un articolo in psicologia o previsioni sui suoi meriti statistici. Ricercherò soprattutto le ottime osservazioni di Nico.

Quanto impegno dovremmo impegnarci per comprendere l'area di applicazione?

Abbastanza, in realtà. Non mi fiderei di commentare più dei più elementari problemi statistici senza aver compreso l'area. Fortunatamente, questo spesso non è molto difficile in molti rami della psicologia.

Quanto tempo devo dedicare a un rapporto?

Esco con un arto e dico un tempo specifico: passerò qualsiasi cosa tra le due e le otto ore per una recensione, a volte di più. Se trovo che sto trascorrendo più di un giorno su un documento, probabilmente significa che non sono davvero qualificato per capirlo, quindi consiglierò al diario di trovare qualcun altro (e cercherò di suggerire alcune persone).

Quanto sei esigente quando guardi figure / tavoli.

Davvero molto esigente. Le cifre saranno ciò che la gente ricorda di un documento e ciò che finisce nelle presentazioni delle lezioni senza molto contesto, quindi queste devono davvero essere fatte bene.

Come gestisci i dati non disponibili?

In psicologia, i dati di solito non sono condivisi: misurare 50 persone con la risonanza magnetica è molto costoso e gli autori vorranno utilizzare questi dati per ulteriori articoli, quindi capisco la loro riluttanza a fornire i dati. Quindi chiunque condivida i propri dati ottiene un grosso bonus nel mio libro, ma non condividerlo è comprensibile.

Nella previsione, molti set di dati sono disponibili al pubblico. In questo caso di solito consiglio agli autori di condividere il loro codice (e farlo da solo).

Cerchi di rieseguire l'analisi utilizzata.

Senza i dati, c'è solo così tanto che uno può imparare da questo. Giocherò con dati simulati se qualcosa è molto sorprendente dei risultati del documento; altrimenti si può spesso dire appropriato da metodi inappropriati senza i dati (una volta che si comprende l'area, vedere sopra).

Qual è il numero massimo di articoli che esamineresti in un anno?

C'è davvero poco da aggiungere al punto di cui sopra di Whuber - supponendo che ogni articolo con in media n coautori I (co-) presenta 3 recensioni, si dovrebbe davvero mirare a rivedere almeno 3 / ( n + 1 ) documenti per ogni proprio contributo (contando gli invii anziché i propri documenti che possono essere respinti e reinviati). E, naturalmente, il numero di invii e il numero di coautori varia fortemente con la disciplina.