Indipendenza dei residui in un esperimento / simulazione computerizzato?

Ho condotto una valutazione computerizzata dei diversi metodi di adattamento a un particolare tipo di modello utilizzato nelle scienze del paleo. Avevo un set di addestramento di grandi dimensioni e quindi ho casualmente (campionamento casuale stratificato) messo da parte un set di test. Ho montato metodi diversi per i campioni del training set e con il risultante modelli avevo previsto la risposta per i campioni test set e calcolato un RMSEP sui campioni nel test set. Questa è una singola corsa .$m$$m$

Ho quindi ripetuto questo processo un gran numero di volte, ogni volta che ho scelto un set di allenamento diverso campionando casualmente un nuovo set di test.

Fatto ciò, voglio verificare se uno dei metodi ha prestazioni RMSEP migliori o peggiori. Vorrei anche fare più confronti tra i metodi di coppia.$m$

Il mio approccio è stato quello di adattare un modello lineare a effetti misti (LME), con un singolo effetto casuale per Run . Ho usato lmer()dal pacchetto lme4 per adattare il mio modello e le funzioni dal pacchetto multcomp per eseguire i confronti multipli. Il mio modello era essenzialmente

lmer(RMSEP ~ method + (1 | Run), data = FOO)

dove methodè un fattore che indica quale metodo è stato utilizzato per generare le previsioni del modello per il set di test ed Runè un indicatore per ogni particolare Run del mio "esperimento".

La mia domanda riguarda i residui dell'LME. Dato il singolo effetto casuale per la corsa , presumo che i valori RMSEP per quella corsa siano correlati in una certa misura ma non siano correlati tra le serie, sulla base della correlazione indotta che l'effetto casuale offre.

Questa ipotesi di indipendenza tra le piste è valida? In caso contrario, esiste un modo per tener conto di ciò nel modello LME o dovrei cercare di utilizzare un altro tipo di analisi statica per rispondere alla mia domanda?

Stai essenzialmente facendo una qualche forma di validazione incrociata qui per ciascuno dei tuoi metodi m e poi vorresti vedere quale metodo ha funzionato meglio. I risultati tra le corse dipenderanno sicuramente, poiché si basano sugli stessi dati e si sovrappongono tra i treni / i set di prova. La domanda è se questo dovrebbe importare quando vieni a confrontare i metodi.

Diciamo che eseguiresti solo una corsa e scopriresti che un metodo è migliore degli altri. Ti chiederesti quindi: è semplicemente dovuto alla scelta specifica del set di test? Questo è il motivo per cui ripetete il test per molti diversi set treno / test. Quindi, al fine di determinare che un metodo è migliore di altri metodi, esegui molte volte e in ogni esecuzione confrontalo con gli altri metodi (hai diverse opzioni di guardare l'errore / classifica / ecc.). Ora, se scopri che un metodo funziona meglio sulla maggior parte delle esecuzioni, il risultato è quello che è. Non sono sicuro che sia utile dare un valore p a questo. Oppure, se vuoi dare un valore p, chiediti qual è il modello di sfondo qui?

Potrebbe non capire davvero cosa hai fatto ma

per l'esecuzione Sto assumendo che i valori RMSEP per quell'esecuzione siano correlati in una certa misura

Sì, questo riflette quanto sia stato difficile il set di test in quella corsa

ma non sono correlati tra le esecuzioni

No, dato il modo in cui hai campionato i set di test alcuni saranno più sovrapposti di altri (sicuramente non repliche indipendenti)

Dovresti in qualche modo modellare la dipendenza in base alla sovrapposizione o progettare la valutazione in modo che le esecuzioni siano indipendenti. Vorrei leggere la letteratura sulle statistiche sulla validazione incrociata ;-)