Perché il bootstrap dei residui da un modello a effetti misti produce intervalli di confidenza anti-conservatori?

In genere mi occupo di dati in cui più individui vengono misurati più volte in ciascuna di 2 o più condizioni. Recentemente ho giocato con la modellazione di effetti misti per valutare l'evidenza delle differenze tra le condizioni, la modellazioneindividual come un effetto casuale. Per visualizzare l'incertezza riguardo alle previsioni di tale modellistica, ho usato il bootstrap, dove su ogni iterazione del bootstrap vengono campionati sia gli individui sia le osservazioni all'interno delle condizioni all'interno degli individui e viene calcolato un nuovo modello di effetti misti da cui vengono calcolate le previsioni sono ottenuti. Questo funziona bene per i dati che presuppongono un errore gaussiano, ma quando i dati sono binomiali, il bootstrap può richiedere molto tempo perché ogni iterazione deve calcolare un modello binomiale di effetti misti relativamente ad alta intensità di calcolo.

Pensavo che avrei potuto usare i residui del modello originale e poi usare questi residui invece dei dati grezzi nel bootstrap, il che mi avrebbe permesso di calcolare un modello di effetto misto gaussiano su ogni iterazione del bootstrap. L'aggiunta delle previsioni originali dal modello binomiale dei dati non elaborati alle previsioni avviate dai residui produce un IC al 95% per le previsioni originali.

Tuttavia, di recente ho codificato una semplice valutazione di questo approccio, modellando nessuna differenza tra due condizioni e calcolando la proporzione di volte in cui un intervallo di confidenza al 95% non è riuscito a includere zero, e ho scoperto che la procedura di bootstrap basata sui residui sopra riportata produce piuttosto fortemente anti- intervalli conservativi (escludono zero più del 5% delle volte). Inoltre, ho quindi codificato (lo stesso link del precedente) una valutazione simile di questo approccio applicato ai dati che inizialmente erano gaussiani, e ha ottenuto in modo simile (anche se non così estremi) IC anticonservatori. Qualche idea sul perché questo potrebbe essere?

Ricorda che tutti gli intervalli di confidenza bootstrap sono asintoticamente solo al livello di confidenza dichiarato. Esistono anche molti metodi possibili per selezionare gli intervalli di confidenza bootstrap Metodo percentile di Efron, metodo percentile di Hall, doppio bootstrap, bootstrap t, bootstrap inclinato, BC, BCa e forse alcuni altri. Non ci hai detto quale metodo usi. L'articolo di Schenker su JASA 1985 mostrava che per alcune distribuzioni chi square l'intervallo di confidenza del bootstrap BC copriva la percentuale pubblicizzata. In problemi di piccole dimensioni del campione questo problema può essere grave. LaBudde e io abbiamo due articoli che mostrano come in piccoli campioni anche il BCa possa avere una copertura molto scarsa quando si stima una varianza da una distribuzione lognormale ed esiste un problema simile per testare l'uguaglianza di due varianze. Questo è solo per un semplice problema. Mi aspetto che possa accadere la stessa cosa con i residui di modelli misti. Nel nostro nuovo libro "An Introduction to Bootstrap Methods with Applications to R" pubblicato da Wiley nel 2011 trattiamo questo argomento nella Sezione 3.7 e forniamo riferimenti. La sorpresa è che il metodo percentile a volte fa meglio del metodo BCa accurato di ordine superiore, quando la dimensione del campione è piccola.