Quali sono le linee guida per condurre esperimenti computazionali?


13

Fisica, biologia, chimica, ecc. Hanno diverse serie di regole per fare esperimenti: quali eventi sono considerati rilevanti, come evitare la contaminazione dei campioni, come creare e riparare un processo di riproduzione e così via.

Quali sono gli standard, i protocolli e le migliori pratiche per garantire l'accuratezza e la riproducibilità negli esperimenti numerici?


1
Non ho mai trovato un insieme di regole di buone pratiche, ma basandomi sul lavoro con ciò che viene pubblicato, direi che anche solo per la riproducibilità ci sono problemi importanti nella pratica attuale: i risultati possono essere influenzati dalla piattaforma hardware, dal sistema operativo (e versione), compilatore (e versione), opzioni di compilazione e impostazioni di configurazione dell'applicazione. Raramente lo trovo documentato con una quantità sufficiente di dettagli.
njuffa,

Risposte:


19

Molto è stato scritto su come progettare, eseguire e riportare i risultati di esperimenti computazionali. Ciò ha connessioni ovvie con il software open source e il più ampio movimento "open science". Un altro problema importante è la differenza tra la ricerca "Il mio codice è più veloce del tuo" e la ricerca che ci aiuta a comprendere meglio le proprietà degli algoritmi.

Alcuni riferimenti su esperimenti computazionali e test che potresti voler esaminare includono:

Coffin, Marie e Matthew J. Saltzman. 2000. " Analisi statistica dei test computazionali di algoritmi ed euristica ". INFORMS Journal on Computing 12 (1): 24–44.

Crowder, Harlan, Ron S. Dembo e John M. Mulvey. 1979. " Sulla segnalazione di esperimenti computazionali con software matematico ". Transazioni ACM su software matematico (TOMS) 5 (2): 193–203.

Feitelson, Dror G. 2006. " Informatica sperimentale: la necessità di un cambiamento culturale ".

Hooker, John N. 1995. " Test di euristica: abbiamo sbagliato tutto ." Journal of Heuristics 1 (1): 33–42.

McGeoch, Catherine C. 2012. A Guide to Experimental Algorithmics. Cambridge University Press.


Vorrei anche fare riferimento a strumenti come Sumatra ( pypi.org/project/Sumatra ) che mirano a fornire strumenti per tracciare esperimenti computazionali a supporto della ricerca riproducibile. Vedi anche qui datascience.stackexchange.com/questions/758
GertVdE
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.