Come posso arbitrare un foglio?

Aggiornato di seguito

Conosciamo tutti l'importanza critica della peer-review. È la principale forma di controllo di qualità e feedback sulla ricerca. Tuttavia, per un ricercatore in fase iniziale (come me), a volte può essere un sistema / processo confuso.

Di conseguenza, ci sono diversi trattati sul processo di arbitrato scientifico che forniscono indicazioni. Due (molto diversi) esempi di informatica - questo articolo del 1994 di Parberry e uno più recente di Cormode - offrono ottimi consigli (anche se quest'ultimo potrebbe essere un po 'malizioso).

Qui, vorrei chiedere consigli più ampi ai membri più esperti di questa comunità sul processo di revisione, con particolare riguardo alle peculiarità dell'informatica teorica.

1. Quali sono i criteri principali per determinare il significato dei risultati di un documento? Come giudico se un documento debba essere accettato dalla conferenza / dalla rivista? È importante verificare la correttezza?
2. Quali sono gli elementi principali di una relazione arbitrale e quali parti sono più importanti? È sempre necessario dare una raccomandazione di (non) accettazione? Cosa succede nel rapporto e cosa va solo all'editore?
3. In che modo la valutazione per le conferenze differisce da quella nelle riviste? In che modo i rapporti per le conferenze differiscono da quelli delle riviste? (Come diavolo valuto la mia "fiducia" nella mia raccomandazione?) La versione del diario dovrebbe essere significativamente diversa dall'articolo della conferenza?
4. E se non capissi il giornale? ...la prova? (È colpa mia o loro?)
5. Che dire degli errori tipografici / grammaticali? E se ce ne fossero molti?
6. Quanto tempo devo dedicare a un rapporto?
7. Quanti rapporti all'anno dovrei scrivere? Quando è accettabile rifiutare una richiesta di arbitrato?

Naturalmente, tutte le altre domande e risposte pertinenti su questo argomento sono incoraggiate, poiché si tratta di CW.

Questa domanda è ispirata da (rubato da) un post simile su MathOverflow .

Aggiornamento 15/02/2011:

Sono ancora molto interessato a ottenere maggiori informazioni su questa domanda, in particolare per quanto riguarda la revisione dei documenti della conferenza e l'adesione al comitato del programma. (Questi due ruoli sono essi stessi bestie diverse, ed entrambi molto diversi dall'essere un arbitro per un articolo di giornale, IMO.) Concesso, l'appartenenza al comitato del programma è più rara dell'arbitrato o della revisione (e non è ancora stato un mio privilegio), ma responsabilità che ogni ricercatore di informatica teorica deve assumere alla fine.

• Tempo. Quanto tempo mi aspetto di trascorrere come membro del comitato o revisore della conferenza? Data la probabilità che potrei avere dieci o forse molti di più da gestire nel giro di poche settimane, come posso evitare di rimanere senza tempo? Quali sono le cose più importanti su cui trascorrere del tempo?

• Fiducia. Cosa succede se il documento è troppo lontano dalla mia area di competenza? Quali fattori dovrebbero andare nella nomina / chiedere a qualcun altro di rivedere un invio? Se non è troppo lontano dalla mia area di competenza e scelgo di esaminarlo, quando è consentito dare un punteggio di confidenza di 1?

• Criteri. Ci sono differenze critiche tra riviste e conferenze. Alcuni articoli molto importanti non sono pubblicati su riviste. Alcuni lavori molto importanti non erano apparsi in precedenza nelle conferenze. Quali sono le distinzioni più significative nei criteri su cui valutare i documenti in questi contesti?

• Raccomandazioni. Inerentemente, ci sono meno raccomandazioni che possono essere offerte agli autori di un documento della conferenza, principalmente a causa di vincoli di spazio e tempo. Inoltre, di solito c'è solo un giro di revisione. Un'altra considerazione è che la mia relazione diventa pubblica per l'intero comitato forte. Qual è la portata dei suggerimenti / direttive che posso offrire?

Come prima, se pensi di essermi perso una domanda particolare, fammelo sapere o modifica direttamente. Questo è CW, dopo tutto.

Questi nuovi pensieri sono in parte motivati ​​dalla lettura di un articolo che Suresh ha menzionato sul suo blog .

1. In base alle tue conoscenze, l'articolo fornisce un contributo significativo, ben presentato e corretto allo stato dell'arte? Se l'articolo non soddisfa nessuno dei tre criteri, è giusto rifiutarlo solo per quel motivo, indipendentemente dagli altri due.

2. Ecco cosa penso dovrebbe contenere un rapporto. Tutto dovrebbe essere visibile all'autore, tranne forse per gravi accuse di cattiva condotta.

   un. Un breve riassunto del documento, per aiutare l'editore a giudicare la qualità dei risultati e per convincere sia l'autore che l'editore di aver effettivamente letto e compreso l'articolo. Posiziona il risultato nel suo contesto più ampio. Includi una cronologia delle versioni precedenti, anche se gli autori la includono nella presentazione. Sii rispettoso, ma brutalmente onesto.

   b. Una discussione sui punti di forza e di debolezza del documento, in termini di correttezza, novità, chiarezza, importanza, generalità, impatto potenziale, eleganza, profondità tecnica, solidità, ecc. Se si sospetta un comportamento non etico (plagio, presentazione parallela, dati cotti) , descrivi i tuoi sospetti. Sii rispettoso, ma brutalmente onesto.

   c. Una raccomandazione all'editore per ulteriori azioni: accettare, accettare con una revisione minore, chiedere una seconda serie di revisioni o rifiutare apertamente. Tieni presente che stai facendo una raccomandazione, non una decisione; se non riesci a prendere una decisione, dillo e basta. Sii rispettoso, ma brutalmente onesto.

   d. Feedback più dettagliato all'autore - giustificazione più dettagliata per la tua raccomandazione, richieste di chiarimenti nella versione finale, riferimenti mancanti, bug nelle prove, semplificazioni, generalizzazioni, errori di battitura, ecc. Sii rispettoso, ma brutalmente onesto.

3. Le relazioni della conferenza dovrebbero essere più brevi; i comitati di programma hanno centinaia di documenti da considerare contemporaneamente. Se ci dovrebbe essere una differenza tra i documenti della conferenza e quelli del giornale dipende dalla rivista (e indirettamente, dalla comunità). La maggior parte delle riviste teoriche di informatica non insistono su una differenza significativa; è abbastanza comune che le versioni per conferenze e riviste di un documento teorico siano essenzialmente identiche. In caso di dubbi, chiedi all'editore!

4. Se ancora non capisci il documento dopo aver fatto uno sforzo in buona fede, è colpa dell'autore, o forse dell'editor, ma certamente non tua. La responsabilità primaria dell'autore è di comunicare efficacemente il proprio risultato al proprio pubblico e un buon editore ti invierà un documento per arbitrare solo se pensano che tu sia un buon rappresentante del pubblico previsto dal documento. Ma devi fare uno sforzo in buona fede; non aspettarti di capire immediatamente tutto (qualcosa?) immediatamente in prima lettura.

5. Se ci sono molti errori, non leggere nemmeno il documento; raccomando solo il rifiuto sulla base del fatto che il documento non è stato scritto professionalmente Altrimenti, se vuoi davvero essere accurato, includi un elenco rappresentativo di errori di grammatica, ortografia e punteggiatura, ma non buttarti fuori trovando l'ultimo bug. Sii rispettoso, ma brutalmente onesto.

6. Aspettati di spendere circa un'ora per pagina, principalmente per interiorizzare i risultati e le tecniche del documento. Lasciati sorprendere piacevolmente quando in realtà non ci vuole così tanto tempo. (Se ci vuole molto meno tempo di quello, o la carta è estremamente elegante e ben scritta, conosci l'area molto bene, o la carta è tecnicamente superficiale. Non confondere queste tre possibilità.)

7. Dovresti scrivere almeno tanti rapporti di arbitri quante altre persone scrivono per te. Se questo richiede più tempo rispetto alla stesura dei tuoi documenti, non stai spendendo abbastanza tempo sui tuoi documenti.

Molto dipende dalla conferenza / giornale, poiché ogni comunità ha sviluppato il proprio stile, quindi sapere cosa ci si aspetta dalla conferenza / giornale sicuramente aiuterà un po '.

1. Quali sono i criteri principali per determinare il significato dei risultati di un documento? Come giudico se un documento debba essere accettato dalla conferenza / dalla rivista? È importante verificare la correttezza?

Criteri: novità / originalità, impatto atteso, correttezza / validità, ampiezza (quanto del problema viene studiato? + Teoremi? + Implementazione? + Risultati sperimentali?), Qualità della presentazione. I criteri per l'accettazione del giornale sono molto più elevati rispetto alle conferenze. Per una conferenza dai un punteggio in base ai criteri precedenti. Verificare la correttezza il più possibile è molto importante, soprattutto per gli articoli di riviste.

2. Quali sono gli elementi principali di una relazione arbitrale e quali parti sono più importanti? È sempre necessario dare una raccomandazione di (non) accettazione? Cosa succede nel rapporto e cosa va solo all'editore?

La relazione degli arbitri contiene almeno 4 elementi principali: una sintesi del documento e dei suoi contributi; punti a favore dell'accettazione del documento; punti contro il foglio; commenti importanti, compresi i punti da affrontare; commenti minori (errori di battitura, ecc.). Dovresti sempre fornire un'indicazione di accettazione o rifiuto o il grado di revisione richiesto. I commenti all'editore potrebbero includere: una breve, forse brusca valutazione del documento; qualsiasi dichiarazione di dubbio; dettagli di un possibile plagio o presentazione parallela del documento; ...

3. In che modo la valutazione delle conferenze differisce da quella delle riviste? In che modo i rapporti per le conferenze differiscono da quelli delle riviste? (Come diavolo valuto la mia "fiducia" nella mia raccomandazione?) La versione del diario dovrebbe essere significativamente diversa dall'articolo della conferenza?

Le recensioni dei periodici tendono ad essere più ampie e possono includere molte cose che gli autori devono fare per portare i loro articoli in uno stato accettabile, come "implementare e valutare queste idee". La tua fiducia dovrebbe essere basata su quanto ti senti sicuro. Generalmente questo verrà con l'esperienza, quindi inizia ad essere conservatore. È fuori dal tuo campo, anche se puoi capire il documento, anche essere conservatori è una buona idea - è difficile valutare l'originalità di un documento al di fuori del tuo campo. Alcuni periodici sostengono che le presentazioni di riviste devono contenere una notevole quantità di nuovo materiale rispetto alla versione della conferenza. Il 30% è una cifra che ho sentito.

4. Cosa succede se non capisco il documento? ...la prova? (È colpa mia o loro?)

Questo può variare. A volte sarà colpa tua, a volte sarà loro. Usa il tuo giudizio. Magari chiedi a un collega di dare un'occhiata al giornale. Se non riesci assolutamente a capirlo e non è dovuto a una formattazione scadente, allora forse contatta la sedia del PC e spiega che è così. In ogni caso, questo dovrebbe riflettersi nel tuo punteggio di fiducia. Se il documento non può essere compreso a causa della cattiva scrittura o della lingua o perché è stato inviato prematuramente, questo dovrebbe essere scritto nel rapporto.

5. Che dire degli errori tipografici / grammaticali? E se ce ne fossero molti?

Quando ero più giovane segnalavo ogni singolo errore di battitura e grammaticale. Ora non ho tempo. Segnalare alcuni è sempre utile: scegli quelli più seri. Inoltre, consigliamo di rileggere la carta (da un madrelingua). Per i giornali di giornale sii più approfondito. Se ha troppi errori, non dovrebbe essere stato inviato a un giornale, che da solo è motivo di rifiuto (IMHO).

6. Quanto tempo devo dedicare a un rapporto?

Massimo un giorno per un documento della conferenza, incluso il tempo di lettura. Per i giornali di giornale, specialmente quelli lunghi, leggere attentamente il giornale potrebbe richiedere un'intera settimana.

7. Quanti rapporti all'anno dovrei scrivere? Quando è accettabile rifiutare una richiesta di arbitrato?

L'importo previsto può variare tra 5 e 30. Come ricercatore junior, ne riceverai alcuni per esercitarti. Man mano che avanzi tra i voti, continuerai a rivedere man mano che diventi un membro dei PC. Quindi, man mano che avanzi ancora di più, avrai un esercito di dottorandi che ti farà la revisione. Più di 30 in un anno sono abbastanza onerosi.

Come ho detto sopra, direi che è opportuno rifiutare una richiesta di arbitrato quando (1) non ritieni di avere le competenze sufficienti per fare una buona recensione, o (2) hai troppe recensioni (o altro) impegni al momento. È anche considerata una buona forma suggerire un numero di possibili revisori alternativi, nel caso in cui tu rifiuti.

Do qui i miei 2 centesimi e aggiungo un settimo punto:

1. Quanti rapporti devo fare ogni anno?

Le mie risposte

1. Naturalmente i criteri non sono gli stessi per conferenze e riviste. Per entrambi la correttezza è probabilmente il criterio più importante. Quindi, il mio secondo criterio è la novità dei risultati per le conferenze, mentre è l'impatto dei risultati per le riviste. Per una conferenza, è anche importante giudicare se il documento è interessante per il pubblico, ma questa è una chiamata di giudizio che può essere fatta dalle sedie del PC piuttosto che dai revisori.

2. Prima di tutto, tranne se sospetti una frode o una cattiva pratica e non sei sicuro (quindi dovresti parlare esclusivamente con l'editore), la mia opinione è che dovresti dire tutto agli autori. Penso che sia importante essere onesti con gli autori e quindi dare sempre una raccomandazione. In un rapporto, dovresti descrivere l'argomento, i risultati (in modo che gli autori possano vedere di aver compreso il documento), quindi dovresti valutare i meriti dei risultati (novità sullo stato dell'arte, profondità tecnica, correttezza, chiarezza) e sottolinea ogni problema. Infine, dovresti dare la tua raccomandazione, possibilmente con consigli agli autori (come "Penso che questo risultato sia buono, ma sia più adatto alla conferenza A piuttosto che a questo"). In pochissimi casi, ti verranno forniti documenti che non meritano nemmeno di essere inviati,

3. Penso che, tranne nel caso dell'invito a una rivista per un numero speciale relativo a un documento della conferenza, ci dovrebbero essere differenze significative.

4. due casi: non è comprensibile (colpa loro), quindi puoi rifiutare il documento per quel motivo o non sei il buon revisore per quel documento. Quando succede sai qual è il caso, se non sei nel secondo caso!

5. Non sono un madrelingua inglese, quindi c'è un pregiudizio nella mia risposta. Ma penso che non sia un motivo per rifiutare un documento (tranne in alcuni casi estremi).

6. Il tempo necessario. Può variare da 1 ora (un articolo scadente in un seminario) a diversi giorni (un articolo molto coinvolto in un diario principale).

7. Personalmente, mi aspetto di fare 3 rapporti per articolo che ho inviato (e sì, è molto, in realtà rivedere probabilmente uno dei miei compiti che richiedono più tempo - prima di insegnare forse).