Quali sono esempi in cui un "bootstrap ingenuo" fallisce?

Supponiamo di avere una serie di dati di esempio da una distribuzione sconosciuta o complessa e di voler fare qualche deduzione su una statistica dei dati. La mia inclinazione predefinito è quello di generare solo un mucchio di campioni di bootstrap con sostituzione, e calcolare la mia statistica su ciascun campione bootstrap per creare una distribuzione stimata per . $T$ $T$ $T$

Quali sono esempi in cui questa è una cattiva idea?

Ad esempio, un caso in cui l'esecuzione ingannevole di questo bootstrap fallirebbe è se sto cercando di utilizzare il bootstrap su dati di serie temporali (diciamo, per verificare se ho una significativa autocorrelazione). L'ingenuo bootstrap sopra descritto (generare l' esimo punto dati dell'ennesima serie di campionamenti bootstrap campionando con la sostituzione delle mie serie originali) sarebbe (credo) sconsigliato, poiché ignora la struttura nelle mie serie storiche originali, e quindi noi ottenere tecniche bootstrap più elaborate come il blocco bootstrap. $i$

Per dirla in altro modo, cosa c'è nel bootstrap oltre al "campionamento con sostituzione"?

hypothesis-testing confidence-interval bootstrap

— raegtin
fonte

Se vuoi fare deduzione sulla media dei dati iid, il bootstrap è un ottimo strumento. Tutto il resto è discutibile e richiede una prova caso per caso di una convergenza debole.

— StasK

Risposte:

Se la quantità di interesse, di solito funzionale a una distribuzione, è ragionevolmente regolare e i tuoi dati sono protetti, di solito ti trovi in un territorio abbastanza sicuro. Naturalmente, ci sono altre circostanze in cui anche il bootstrap funzionerà.

Cosa significa che il bootstrap "fallisce"

In generale, lo scopo del bootstrap è di costruire una distribuzione approssimativa di campionamento per la statistica di interesse. Non si tratta della stima effettiva del parametro. Quindi, se la statistica di interesse (sotto alcuni riscalamenti e centraggi) è e nella distribuzione, vorremmo che la nostra distribuzione bootstrap convergere alla distribuzione di . Se non lo abbiamo, non possiamo fidarci delle inferenze fatte. $\newcommand{\Xhat}{\hat{X}_n}\Xhat$ $\Xhat \to X_\infty$ $X_\infty$

L' esempio canonico di quando il bootstrap può fallire, anche in un framework iid, è quando si tenta di approssimare la distribuzione campionaria di una statistica di ordine estremo. Di seguito è una breve discussione.

Massimo statistica ordine di un campione casuale di una distribuzione $\;\mathcal{U}[0,\theta]$

Consenti a essere una sequenza di variabili casuali uniformi su . Lascia che . La distribuzione di è (Si noti che da un argomento molto semplice, questo in realtà mostra anche che in probabilità e persino, quasi sicuramente , se le variabili casuali sono tutte definite nello stesso spazio.) $X_1, X_2, \ldots$ $[0,\theta]$ $\newcommand{\Xmax}{X_{(n)}} \Xmax = \max_{1\leq k \leq n} X_k$ $\Xmax$

P (X_{(n)} \leq x) = (x / θ)^{n} .

$\renewcommand{\Pr}{\mathbb{P}}\Pr(\Xmax \leq x) = (x/\theta)^n \>.$

X_{(n)} \to θ

$\Xmax \to \theta$

Un calcolo elementare produce o, in altre parole, converge nella distribuzione in una variabile casuale esponenziale con mean .

P (n (θ - X_{(n)}) \leq x) = 1 - (1 - \frac{x}{θ n})^{n} \to 1 - e^{- x / θ},

$\Pr( n(\theta - \Xmax) \leq x ) = 1 - \Big(1 - \frac{x}{\theta n}\Big)^n \to 1 - e^{-x/\theta} \>,$

n (θ - X_{(n)})

$n(\theta - \Xmax)$

θ

$\theta$

Ora formiamo una stima (ingenua) del bootstrap della distribuzione di ricampionando con la sostituzione per ottenere e usando la distribuzione di base a . $n(\theta - \Xmax)$ $X_1, \ldots, X_n$ $X_1^\star,\ldots,X_n^\star$ $n(\Xmax - \Xmax^\star)$ $X_1,\ldots,X_n$

Tuttavia, osserva che con probabilità , e quindi la distribuzione bootstrap ha una massa di punti a zero anche asintoticamente nonostante il fatto che l'attuale distribuzione limitante sia continua. $\Xmax^\star = \Xmax$ $1 - (1-1/n)^n \to 1 - e^{-1}$

Più esplicitamente, sebbene la vera distribuzione limitante sia esponenziale con media , la distribuzione limitatrice bootstrap pone una massa in punti pari a zero della dimensione indipendentemente dal valore reale di . Prendendo sufficientemente grande, possiamo rendere la probabilità della vera distribuzione limitante arbitraria piccola per qualsiasi intervallo fisso , ma il bootstrap ( ancora !) Segnalerà che ci sono almeno probabilità 0,632 in questo intervallo! Da ciò dovrebbe essere chiaro che il bootstrap può comportarsi in modo arbitrario in questa impostazione. $\theta$ $1−e^{-1} \approx 0.632$ $\theta$ $\theta$ $[0,\varepsilon)$

In breve, il bootstrap fallisce (miseramente) in questo caso. Le cose tendono ad andare male quando si tratta di parametri ai margini dello spazio dei parametri.

Un esempio da un campione di normali variabili casuali

Ci sono altri esempi simili del fallimento del bootstrap in circostanze sorprendentemente semplici.

Si consideri un esempio da cui lo spazio dei parametri per è limitato a . Il MLE in questo caso è . Ancora una volta, usiamo la stima bootstrap . Ancora una volta, si può dimostrare che la distribuzione di (in base al campione osservato) non converge alla stessa distribuzione limitante di . $X_1, X_2, \ldots$ $\mathcal{N}(\mu,1)$ $\mu$ $[0,\infty)$ $\newcommand{\Xbar}{\bar{X}}\Xhat = \max(\bar{X},0)$ $\Xhat^\star = \max(\Xbar^\star, 0)$ $\sqrt{n}(\Xhat^\star - \Xhat)$ $\sqrt{n}(\Xhat - \mu)$

Matrici intercambiabili

Forse uno degli esempi più drammatici è per un array intercambiabile. Sia essere una matrice di variabili casuali tale che, per ogni coppia di matrici di permutazione e , gli array e hanno la stessa distribuzione congiunta. Cioè, permutando righe e colonne di mantiene invariata la distribuzione. (Puoi pensare a un modello di effetti casuali a due vie con un'osservazione per cella come esempio, sebbene il modello sia molto più generale.) $\newcommand{\bm}[1]{\mathbf{#1}}\bm{Y} = (Y_{ij})$ $\bm{P}$ $\bm{Q}$ $\bm{Y}$ $\bm{P} \bm{Y} \bm{Q}$ $\bm{Y}$

Supponiamo di voler stimare un intervallo di confidenza per la media (a causa dell'assunto di scambiabilità descritto sopra i mezzi di tutte le le celle devono essere uguali). $\mu = \mathbb{E}(Y_{ij}) = \mathbb{E}(Y_{11})$

McCullagh (2000) ha preso in considerazione due diversi modi naturali (cioè ingenui) di avviare un tale array. Nessuno dei due ottiene la varianza asintotica per la media del campione corretta. Considera anche alcuni esempi di un array intercambiabile unidirezionale e di regressione lineare.

Riferimenti

Sfortunatamente, l'argomento non è banale, quindi nessuna di queste sono letture particolarmente facili.

P. Bickel e D. Freedman, Qualche teoria asintotica per il bootstrap . Ann. Statistica. , vol. 9, n. 6 (1981), 1196–1217.

DWK Andrews, Incoerenza del bootstrap quando un parametro si trova al limite dello spazio dei parametri , Econometrica , vol. 68, n. 2 (2000), 399–405.

P. McCullagh, Ricampionamento e array intercambiabili , Bernoulli , vol. 6, n. 2 (2000), 285–301.

EL Lehmann e JP Romano, Testing Ipotesi statistiche , 3 °. ed., Springer (2005). [Capitolo 15: Metodi generali di esempio di grandi dimensioni]

— cardinale
fonte

Il comportamento del bootstrap delle statistiche dell'ordine mi sembra ragionevole, dato che la distribuzione esponenziale ha una "massa di punti" simile a zero - La modalità di una distribuzione esponenziale è 0, quindi sembra ragionevole che la probabilità sia diversa da zero al valore molto probabile! Il bootstrap sarebbe probabilmente qualcosa di più simile a una distribuzione geometrica che è un analogo discreto dell'esponenziale. Non vorrei prendere questo come un "fallimento" del bootstrap qui - per la quantità stimata di si trova sempre nella appropriata intervallo di

θ

$\theta$

θ \geq X_{(n)}

$\theta\geq X_{(n)}$

— probabilityislogic

@cardinale - la distribuzione asintotica non è il punto di riferimento appropriato - a meno che tu non abbia un campione infinito. La distribuzione bootstrap deve essere confrontata con la distribuzione del campione finita per cui è stata progettata per l'approssimazione. Quello che vuoi mostrare è che quando il numero di iterazioni bootstrap va all'infinito, la distribuzione bootstrap converge alla distribuzione campionata finita . lasciare è una soluzione approssimativa non esatta.

n \to \infty

$n\to\infty$

— probabilityislogic

@cardinal +1, ho precedentemente votato la domanda, ma voglio solo ringraziare per un'ottima risposta, esempi e collegamenti agli articoli.

— mpiktas,

@probabilityislogic, ovviamente nell'applicazione generale della teoria asintotica dipende dal tasso di convergenza, se è lento, allora non è applicabile. Ma devi quindi dimostrare che la velocità è lenta, dal momento che sospetto che, ad esempio, con una distribuzione uniforme che prenda la dimensione del campione 100, incontrerai i problemi descritti da @cardinal.

— mpiktas,

@probabilityislogic, all'inizio, ho visto solo l'ultimo dei tuoi ultimi due commenti. Per indirizzare il primo, puoi vedere le prime due frasi della sezione sopra con l'intestazione "Cosa significa che il bootstrap" fallisce "", dove questo viene indirizzato esplicitamente. Il bootstrap non riguarda la stima del parametro. Partiamo dal presupposto che abbiamo un buon modo per stimare il parametro desiderato (in questo caso, funziona correttamente). Il bootstrap è di sapere qualcosa circa la distribuzione del parametro in modo che possiamo fare inferenza. Qui, il bootstrap sbaglia la distribuzione ( molto! ).

X_{(n)}

$X_{(n)}$

— cardinale il

Il seguente libro ha un capitolo (Cap.9) dedicato a "Quando il bootstrap fallisce insieme ai rimedi per i guasti":

MR Chernick, Metodi Bootstrap: una guida per professionisti e ricercatori , 2a ed. Hoboken NJ: Wiley-Interscience, 2008.

Gli argomenti sono:

Troppo piccolo di una dimensione del campione
Distribuzioni con momenti infiniti
Stima dei valori estremi
Campionamento del sondaggio
Sequenze di dati dipendenti dalla M
Processi autoregressivi instabili
Dipendenza a lungo raggio

— Sadeghd
fonte

Hai visto questo commento a una risposta in questa discussione? Per inciso, quel commento si collega a una pagina di Amazon per il libro di Chernick; le recensioni dei lettori sono illuminanti.

— whuber

@whuber Bene, non ho notato quel commento. Devo rimuovere la mia risposta?

— Sadeghd,

Poiché la tua risposta è più dettagliata del riferimento nel commento, potenzialmente ha valore: ma in linea con le politiche e gli obiettivi di SE, sarebbe bello vederla amplificata con qualche spiegazione del perché stai raccomandando questo libro o - ancora meglio - per includere un riepilogo delle informazioni in esso contenute. Altrimenti aggiunge poco e dovrebbe essere eliminato o convertito in un commento alla domanda.

— whuber

Il bootstrap ingenuo dipende dal fatto che la dimensione del campione è grande, quindi il CDF empirico per i dati è una buona approssimazione al CDF "vero". Ciò garantisce che il campionamento dal CDF empirico sia molto simile al campionamento dal CDF "vero". Il caso estremo è quando hai campionato solo un punto dati - il bootstrap non ottiene nulla qui. Diventerà sempre più inutile mentre si avvicina a questo caso degenerato.

Il bootstrap ingenuo non fallirà necessariamente nell'analisi delle serie temporali (sebbene possa essere inefficiente) - se modellizzi la serie usando le funzioni di base del tempo continuo (ad esempio un polinomio leggendario) per un componente di tendenza e le funzioni seno e coseno del tempo continuo per il ciclico componenti (più il normale termine di errore del rumore). Quindi hai inserito tutte le volte che ti è capitato di provare la funzione di verosimiglianza. Nessun disastro per l'avvio del boot qui.

Qualsiasi auto-correlazione o modello ARIMA ha una rappresentazione in questo formato sopra - questo modello è solo più facile da usare e penso di capire e interpretare (cicli facili da capire nelle funzioni seno e coseno, coefficienti difficili da capire di un modello ARIMA). Ad esempio la funzione di auto-correlazione è la trasformata inversa di Fourier dello spettro di potenza di una serie temporale.

— probabilityislogic
fonte

@probabilityislogic -1, ho accidentalmente annullato l'upgrade della risposta in precedenza (biasimo Opera mini), quindi ho dovuto modificarlo per poter effettuare il downgrade, mi dispiace per l'utilizzo di tali tattiche. L'ho fatto solo perché all'inizio non mi è piaciuta la risposta, ma non ho votato a fondo perché volevo preparare i miei argomenti, che darò nel seguente commento.

— mpiktas,

@probabilityislogic, per i processi di serie temporali il tempo gioca un ruolo importante, quindi la distribuzione del vettore è diversa da . Il ricampionamento come fatto in un bootstrap ingenuo distrugge questa struttura, quindi per esempio se provi ad adattare il modello AR (1), dopo il ricampionamento potresti capire che stai cercando di adattare come , che è non sembra naturale. Se cerchi Google per "serie temporali di bootstrap", il secondo articolo fornisce un esempio di come la stima della varianza delle serie temporali ha ...

(X_{t}, X_{t + 1})

$(X_t,X_{t+1})$

(X_{t + 1}, X_{t})

$(X_{t+1},X_t)$

Y_{10}

$Y_{10}$

ρ Y_{15}

$\rho Y_{15}$

— mpiktas,

@probabilityislogic, sarebbe possibile per te dimostrare la tua idea nella tua risposta per la stima ingenua del bootstrap di in AR (1) modello ? Non penso che sia possibile, quindi il motivo di base del downvote. Sarei felice di essere smentito.

ρ

$\rho$

Y_{t} = ρ Y_{t - 1} + u_{t}

$Y_t=\rho Y_{t-1}+u_t$

— mpiktas,

@probabilityislogic e? Quale sarà la stima di in quel caso? Mi dispiace per il pestaggio, ma sinceramente non vedo come puoi dimostrare che il bootstrap ingenuo non fallirà in questo caso.

r h o

$rho$

— mpiktas,

Il mio libro qui ha un capitolo su quando il bootstrap fallisce e anche un capitolo su come il bootstrap viene applicato nelle serie temporali. Per le serie temporali il bootstrap può essere applicato ai residui di un modello nell'approccio basato sul modello. L'altro approccio non parametrico nel dominio del tempo è il bootstrap a blocchi di cui esistono molti tipi.

— Michael Chernick,