C'è un risultato che fornisce che il bootstrap è valido se e solo se la statistica è liscia?

In tutto assumiamo che la nostra statistica sia una funzione di alcuni dati che è tratto dalla funzione di distribuzione ; la funzione di distribuzione empirica del nostro campione è . Quindi è la statistica vista come una variabile casuale e è la versione bootstrap della statistica. Usiamo come distanza KS $\theta(\cdot)$ $X_1, \ldots X_n$ $F$ $\hat{F}$ $\theta(F)$ $\theta(\hat{F})$ $d_\infty$

Esistono risultati "if e only if" per la validità del bootstrap se la statistica è una statistica lineare semplice. Ad esempio Teorema 1 di Mammen "Quando funziona il bootstrap?"

Se per alcune funzioni arbitrarie il bootstrap funziona nel senso che se e solo se esistono e tali che Dove possiamo definire come una funzione del nostro campione e $\theta(F) = \frac{1}{n} \sum_{i-1}^n h_n(X_i)$ $h_n$
$d_{\infty} [L (θ (\hat{F}) - {\hat{t}}_{n}), L (θ (F) - t_{n})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(\hat{F})-\hat{t}_n), \mathscr{L}(\theta(F)-t_n)\big] \underset{p}{\rightarrow} 0$ $\sigma_n$ $t_n$ $d_{\infty} [L (θ (F) - t_{n}), N (0, σ_{n}^{2})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(F)-t_n), N(0, \sigma_n^2)\big]\underset{p}{\rightarrow} 0$ $\hat{t_n}$ $t_n = \mathbb{E}(\hat{t}_n)$

Ci sono anche risultati più generali che il bootstrap funziona per le statistiche generali, ad esempio il Teorema 1.6.3 del Sottocampionamento di Politis Romano e Wolf:

Supponiamo che sia tratto dalla classe di tutte le distribuzioni con supporto finito. Supponiamo che la statistica sia Frechet differenziabile in rispetto alla norma e che la derivata soddisfi . Quindi è asintoticamente normale e il bootstrap funziona nel senso del teorema precedente. $F$ $\theta(\cdot)$ $F$ $g_F$ $0 < \textrm{Var}_F[g_F(x)] < \infty$ $\theta(F)$

Vorrei una versione "se e solo se" del secondo teorema. Ciò richiederà una nozione di scorrevolezza diversa dalla differenziabilità di Frechet perché Politis, Romano e Wolf (1999) mostrano che la mediana del campione non è differenziabile da Frechet ma il bootstrap funziona ancora. Tuttavia, la mediana del campione è ancora una funzione regolare dei dati.

Ci sono alcuni commenti informali in Mammen che la scorrevolezza è necessaria:

La linearità asintotica tipicamente locale sembra essere necessaria per la coerenza del bootstrap

La citazione è di:

van Zwet, W (1989). Discorso tenuto alla conferenza su "Metodi asintotici per le procedure intensive di statistica in statistica" a Olberwolfach.

Ma non riesco a trovare traccia di questo discorso a parte una manciata di citazioni.

— orizon
fonte

Argomento eccellente. È corretto che tutti i risultati citati siano asintotici per le dimensioni del campione che vanno all'infinito?

— Michael M,

@Michael Grazie e sì, tutto è asintotico come . Per inciso, ci sono alcuni lavori recenti con risultati per campioni finiti (ad es. Arxiv.org/pdf/1212.6906.pdf ) ma è molto tecnico.

n \to \infty

$n \rightarrow \infty$

— orizon,

Argomento complicato Alcuni dicono che bootstrap non funziona in generale. van Zwer et al. dice che bisogna stare attenti a ciò che è bootstraped . Penso che si debba stabilire cosa avviare bootstrap e cosa non avviare bootstrap prima che siano giustificati ulteriori test.

— Carl,

Ora ho aggiornato la risposta in risposta al commento di Mammen, spero che chiarisca ulteriormente la tua confusione. E se vuoi, puoi spiegare qualcosa sull'applicazione che ti motiva a chiedere della necessità. Questo mi aiuterà a migliorare la mia risposta.

— Henry.L

$\blacksquare$ (1) Perché gli stimatori non sono differenziabili da Frechet ma il loro stimatore bootstrap è ancora coerente?

È necessaria la differenziabilità Hadamard (o la differenziabilità compatta a seconda della fonte di riferimento) come condizione sufficiente per far funzionare bootstrap in quel caso, la mediana e qualsiasi quantile sono differenziabili Hadamard. La differenziazione di Frechet è troppo forte nella maggior parte delle applicazioni.

Poiché di solito è sufficiente discutere di uno spazio polacco, è necessario che un funzionale localmente lineare applichi un tipico argomento di compattezza per estendere il risultato di coerenza alla situazione globale. Vedi anche il commento di linearizzazione sotto.

$\rho$ $T_{n}$ $n$

$\blacksquare$

[Shao & Tu] pagg. 85-86 illustrano situazioni in cui possono verificarsi incoerenze degli stimatori bootstrap.

$F$ $H_{BOOT}$ $H_0$

$T_{n}$

(3) Il comportamento dello stimatore bootstrap a volte dipende dal metodo utilizzato per ottenere i dati bootstrap.

$K$

$\blacksquare$

Per quanto riguarda il commento "La linearità asintotica tipicamente locale sembra essere necessaria per la coerenza del bootstrap" fatta da Mammen come hai menzionato. Un commento di [Shao & Tu] p.78 è il seguente, in quanto hanno commentato che la linearizzazione (globale) è solo una tecnica che facilita la prova di coerenza e non indica alcuna necessità:

$\bar{Z_n}=\frac{1}{n}\sum_{i=1}^{n}\phi(X_n)$ $\phi(X)$ $X$
$T_{n} = θ + \bar{Z_{n}} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n=\theta+\bar{Z_n}+o_{P}(\frac{1}{\sqrt{n}})$ $T_n^{*}$ $\bar{Z_n^{*}}$ $T_n$ $\bar{Z_n}$ $\{X_1^{*},\cdots,X_n^{*}\}$ $T_n^{*}$ $T_{n}^{*} = θ + {\bar{Z_{n}}}^{*} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n^{*}=\theta+\bar{Z_n}^{*}+o_{P}(\frac{1}{\sqrt{n}})$ $H_{BOOT}(x)$ $x$ $=P\{\sqrt{n}(T_n-T_n^{*}) \leq x\}$ $P\{\sqrt{n}(\bar{Z_n}-\bar{Z_n}^{*}) \leq x\}$ $\bar{Z_n}$

E hanno fornito un esempio 3.3 di come ottenere la coerenza bootstrap per il bootstrap di tipo MLE. Tuttavia, se la linearità globale è efficace in quel modo, è difficile immaginare come si possa dimostrare coerenza senza linearità locale. Quindi immagino che sia quello che Mammen voleva dire.

$\blacksquare$

Al di là della discussione fornita da [Shao & Tu] sopra, penso che ciò che vuoi sia una condizione di caratterizzazione della coerenza degli stimatori bootstrap.

$M(X)$ $T$ $CLT$

$M(X)$

Odio essere cinico, ma sento ancora che questa non è la sola scrittura statistica che "cita dal vuoto". Dicendo questo, ho semplicemente la sensazione che la citazione al discorso di van Zwet sia molto irresponsabile, sebbene van Zwet sia un grande studioso.

$\blacksquare$

[Wasserman] Wasserman, Larry. Tutte le statistiche non parametriche, Springer, 2010.

[Shao & Tu] Shao, Jun e Dongsheng Tu. Il coltellino e il bootstrap. Springer, 1995.

[Gine & Zinn] Giné, Evarist e Joel Zinn. "Bootstrapping misure empiriche generali." The Annals of Probability (1990): 851-869.

[Huber] Huber, Peter J. Statistiche affidabili. Wiley, 1985.

— Henry.L
fonte