Quali sono le migliori pratiche per testare programmi con comportamento stocastico?

Nel lavoro di ricerca e sviluppo, mi trovo spesso a scrivere programmi con un certo grado di casualità nel loro comportamento. Ad esempio, quando lavoro nella programmazione genetica, scrivo spesso programmi che generano ed eseguono codice sorgente casuale arbitrario.

Un problema con il test di tale codice è che i bug sono spesso intermittenti e possono essere molto difficili da riprodurre. Questo va oltre la semplice impostazione di un seme casuale sullo stesso valore e l'inizio dell'esecuzione.

Ad esempio, il codice potrebbe leggere un messaggio dal buffer dell'anello kernal e quindi eseguire salti condizionali sul contenuto del messaggio. Naturalmente, lo stato del buffer dell'anello sarà cambiato quando si tenta in seguito di riprodurre il problema.

Anche se questo comportamento è una caratteristica , può innescare altri codici in modi inaspettati, e quindi spesso rivela bug che i test unitari (o tester umani) non trovano.

Esistono buone pratiche stabilite per testare sistemi di questo tipo? In tal caso, alcuni riferimenti sarebbero molto utili. In caso contrario, qualsiasi altro suggerimento è il benvenuto!

È utile aggiungere hook, come suggerito, per ricreare stati esatti. Strumenta anche il sistema in modo che possa scaricare i suoi "semi" (nel tuo caso, incluso il seme PRNG e il buffer dell'anello del kernel, e qualsiasi altra fonte di input non deterministico).

Quindi esegui i tuoi test con input casuali veri e stile di regressione con casi interessanti scoperti in precedenza.

Nel caso particolare del tuo accesso al kernel, ti consiglio di prendere in giro in ogni caso. Usa la simulazione per forzare le classi di equivalenza che hanno meno probabilità di apparire in pratica, nello spirito di "vuoto" e "pieno" per i contenitori, oppure "0, 1, 2 ^ n, 2 ^ n + 1, molti" per cose numerabili. Quindi puoi testare con il finto e con la cosa reale, sapendo che hai gestito e testato i casi che hai pensato finora.

Fondamentalmente, ciò che sto suggerendo equivale a un mix di input deterministici e non deterministici, con quelli deterministici che sono un mix di quelli che riesci a pensare e quelli che ti hanno sorpreso.

Una cosa ragionevole da fare è seminare il generatore di numeri casuali con un valore costante per i test, in modo da ottenere un comportamento deterministico.

Penso che i test statistici siano l'unico modo. Proprio come i numeri casuali vengono "testati" per casualità da test statistici, quindi devono essere algoritmi che utilizzano comportamenti casuali.

È sufficiente eseguire l'algoritmo più volte con input uguale o diverso e confrontarlo tra loro. Il problema con questo approccio è il massiccio aumento del tempo di calcolo necessario per completare il test.

Non sono uno specialista in questo settore, ma esiste una letteratura scientifica relativa ai test del programma stocastico.

Se non è possibile creare facilmente classi di test, è possibile utilizzare un test statistico, come ha detto #Euphoric. Borning et al. confrontare un approccio tradizionale e uno statistico. Una generalizzazione dei test statistici suggeriti da @Euphoric potrebbe essere quella discussa da Whittaker. Ha suggerito di creare un modello stocastico del comportamento desiderato (stocastico, nel tuo caso) e quindi generare casi di test specifici da questo modello (vedere il suo documento dedicato ).