Bootstrap può essere visto come una "cura" per le piccole dimensioni del campione?

Questa domanda è stata innescata da qualcosa che ho letto in questo manuale di statistica a livello di laurea e anche (indipendentemente) sentito durante questa presentazione in un seminario statistico. In entrambi i casi, l'affermazione era sulla falsariga di "poiché la dimensione del campione è piuttosto piccola, abbiamo deciso di eseguire la stima tramite bootstrap anziché (o insieme a) questo metodo parametrico ".$X$

Non hanno ottenuto nei dettagli, ma probabilmente il ragionamento è il seguente: il metodo assume i dati seguono una certa parametrico di distribuzione D . In realtà la distribuzione non è esattamente D , ma va bene finché la dimensione del campione è abbastanza grande. Poiché in questo caso la dimensione del campione è troppo piccola, passiamo al bootstrap (non parametrico) che non fa ipotesi distributive. Problema risolto!$X$$D$$D$

Secondo me, questo non è lo scopo di bootstrap. Ecco come lo vedo: bootstrap può dare un vantaggio quando è più o meno ovvio che ci sono abbastanza dati, ma non esiste una soluzione a forma chiusa per ottenere errori standard, valori p e statistiche simili. Un esempio classico è l'ottenimento di un elemento della configurazione per il coefficiente di correlazione dato un campione da una distribuzione normale bivariata: esiste la soluzione in forma chiusa, ma è così contorta che il bootstrap è più semplice. Tuttavia, nulla implica che bootstrap possa in qualche modo aiutare a cavarsela con una piccola dimensione del campione.

La mia percezione è giusta?

Se trovi questa domanda interessante, c'è un'altra mia domanda bootstrap più specifica:

Bootstrap: il problema del overfitting

PS Non posso fare a meno di condividere un esempio eclatante dell '"approccio bootstrap". Non sto rivelando il nome dell'autore, ma è uno dei "quants" di vecchia generazione che ha scritto un libro sulla finanza quantitativa nel 2004. L'esempio è preso da lì.

Considera il seguente problema: supponi di avere 4 risorse e 120 osservazioni di rendimento mensili per ciascuna. L'obiettivo è costruire il cdf tridimensionale congiunto dei rendimenti annuali. Anche per un singolo asset, l'attività sembra difficilmente raggiungibile con solo 10 osservazioni annuali, per non parlare della stima del cdf a 4 dimensioni. Ma non preoccuparti, il "bootstrap" ti aiuterà: prendi tutte le osservazioni a 4 dimensioni disponibili, ricampiona 12 con la sostituzione e componile per costruire un singolo vettore a 4 dimensioni "bootstrap" dei rendimenti annuali. Ripeti 1000 volte e, ecco, ti sei procurato un "campione bootstrap" di 1000 rendimenti annuali. Usalo come campione iid di dimensione 1000 ai fini della stima del cdf o qualsiasi altra inferenza che può essere ricavata da una storia millenaria.

$n$$n-1$$n$$n$

simfun <- function(n=5) {
    x <- rnorm(n)
    m.x <- mean(x)
    s.x <- sd(x)
    z <- m.x/(1/sqrt(n))
    t <- m.x/(s.x/sqrt(n))
    b <- replicate(10000, mean(sample(x, replace=TRUE)))
    c( t=abs(t) > qt(0.975,n-1), z=abs(z) > qnorm(0.975),
        z2 = abs(t) > qnorm(0.975), 
        b= (0 < quantile(b, 0.025)) | (0 > quantile(b, 0.975))
     )
}

out <- replicate(10000, simfun())
rowMeans(out)

I miei risultati per una corsa sono:

     t      z     z2 b.2.5% 
0.0486 0.0493 0.1199 0.1631 

$\alpha$

Se ti viene fornita una piccola dimensione del campione (come una luce laterale, ciò che è "piccolo" sembra dipendere da una regola consueta sottostante in ogni campo di ricerca), nessun bootstrap farà la magia. Supponendo che un database contenga tre osservazioni per ciascuna delle due variabili sotto inchiesta, nessuna inferenza avrà senso. Nella mia esperienza, il bootstrap non parametrico (1.000 o 10.000 repliche) funziona bene nella sostituzione del test t quando le distribuzioni del campione (almeno 10-15 osservazioni ciascuna) sono distorte e quindi i prerequisiti per il normale test t non sono soddisfatti. Inoltre, indipendentemente dal numero di osservazioni, il bootstrap non parametrico può essere una scelta obbligatoria quando i dati sono distorti positivamente, come sempre accade per i costi dell'assistenza sanitaria.

Altre risposte criticano le prestazioni degli intervalli di confidenza bootstrap , non bootstrap stesso. Questo è un problema diverso

Se il tuo contesto soddisfa le condizioni di regolarità per la convergenza della distribuzione bootstrap (convergenza in termini di numero di campioni bootstrap), il metodo funzionerà se usi un campione bootstrap abbastanza grande.

Nel caso in cui desideri davvero trovare problemi relativi all'uso del bootstrap non parametrico, ecco due problemi:

(1) Problemi con il ricampionamento.

Uno dei problemi con bootstrap, sia per campioni piccoli che grandi, è il passo di ricampionamento. Non è sempre possibile ricampionare mantenendo la struttura (dipendenza, temporale, ...) del campione. Un esempio di questo è un processo sovrapposto .

Supponiamo che ci siano un certo numero di fonti indipendenti in ciascuno dei quali si verificano eventi di volta in volta. Si presume che gli intervalli tra eventi successivi in ​​una qualsiasi sorgente siano variabili casuali indipendenti tutte con la stessa distribuzione, in modo che ciascuna sorgente costituisca un processo di rinnovo di tipo familiare. Gli output delle sorgenti sono combinati in un output aggregato.

Come ricampioneresti mantenendo la struttura sconosciuta della dipendenza ?

(2) Campioni bootstrap stretti e intervalli di confidenza bootstrap per piccoli campioni .

In piccoli campioni il minimo e il massimo degli stimatori per ciascun sottocampione possono definire un intervallo ristretto, quindi i punti finale destro e sinistro di qualsiasi intervallo di confidenza saranno molto stretti (il che è controintuitivo dato il piccolo campione!) In alcuni modelli.

$x_1,x_2\sim \text{Exp}(\lambda)$$\lambda>0$

set.seed(1)
x <- rexp(2,1)
# Maximum likelihood estimator
1/mean(x)

# Profile likelihood: provides a confidence interval with right-end point beyond the maximum inverse of the mean
Rp <- Vectorize(function(l) exp(sum(dexp(x,rate=l,log=T))-sum(dexp(x,rate=1/mean(x),log=T))))

curve(Rp,0,5)
lines(c(0,5),c(0.147,0.147),col="red")

$\lambda$$\hat{\lambda}=2/(x_1+x_2)$

library(boot)
set.seed(1)
x <- rexp(2,1)
1/mean(x)
# Bootstrap interval: limited to the maximum inverse of the mean
f.boot <- function(data,ind) 1/mean(data[ind])
b.b <- boot(data=x, statistic=f.boot, R=100000)
boot.ci(b.b, conf = 0.95, type = "all")
hist(b.b$t)

$x_1$$x_2$

Bootstrap funziona bene in campioni di piccole dimensioni per garantire la correttezza del test (ad esempio che il livello nominale 0,05 significatività è vicino alla dimensione effettiva della prova), tuttavia il bootstrap non non magicamente si concede potenza. Se hai un piccolo campione, hai poco potere, fine della storia.

Le regressioni parametriche (modelli lineari) e semiparametriche (GEE) tendono ad avere scarse proprietà del campione scarse ... la prima a causa della grande dipendenza da ipotesi parametriche, la seconda a causa dell'ingrandimento di solide stime di errore standard in piccoli campioni. Il bootstrap (e altri test basati sul ricampionamento) si comporta davvero bene in quelle circostanze.

Per la previsione, il bootstrap ti fornirà stime migliori (più oneste) della validità interna rispetto alla convalida del campione diviso.

$n$