Quando è valida la stima bootstrap del bias?

31

Si afferma spesso che il bootstrap può fornire una stima della distorsione in uno stimatore.

Se è la stima per qualche statistica, e sono le repliche bootstrap (con ), allora la stima bootstrap di polarizzazione è che sembra estremamente semplice e potente, al punto da essere inquietante. $\hat t$ $\tilde t_i$ $i\in\{1,\cdots,N\}$

{b i a s}_{t} \approx \frac{1}{N} \sum_{i} {\tilde{t}}_{i} - \hat{t}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i-\hat t \end{equation}$

Non riesco a capire come sia possibile senza avere uno stimatore imparziale della statistica. Ad esempio, se il mio stimatore restituisce semplicemente una costante indipendente dalle osservazioni, la precedente stima della distorsione non è chiaramente valida.

Sebbene questo esempio sia patologico, non riesco a vedere quali sono i presupposti ragionevoli dello stimatore e delle distribuzioni che garantiranno che la stima bootstrap sia ragionevole.

Ho provato a leggere i riferimenti formali, ma non sono uno statistico né un matematico, quindi nulla è stato chiarito.

Qualcuno può fornire un riepilogo di alto livello di quando ci si aspetta che la stima sia valida? Se si conoscono buoni riferimenti sull'argomento, sarebbe fantastico.

Modificare:

La fluidità dello stimatore viene spesso citata come requisito per il funzionamento del bootstrap. Potrebbe essere che si richieda anche una sorta di invertibilità locale della trasformazione? La mappa costante chiaramente non lo soddisfa.

bootstrap bias

— bootstrap
fonte

2

Uno stimatore costante è uno stimatore imparziale di quella costante, quindi è naturale che lo stimatore bootstrap del bias sia zero.

— Xi'an,

4

Il problema che descrivi è un problema di interpretazione, non di validità. La stima della distorsione da bootstrap per il tuo stimatore costante non è valida, in realtà è perfetta.

La stima bootstrap di polarizzazione è compresa tra un estimatore e un parametro dove è qualche distribuzione sconosciuto e un campione da . La funzione è qualcosa che in linea di principio potresti calcolare se avessi la popolazione a portata di mano. Alcune volte ci prendono il plug-in stima della $\hat\theta = s(x)$ $\theta = t(F),$ $F$ $x$ $F$ $t(F)$ $s(x) = t(\hat F),$ utilizzando la distribuzione empirica al posto di . Questo è presumibilmente ciò che descrivi sopra. In tutti i casi la stima bootstrap di polarizzazione è dove sono campioni bootstrap da . $t(F)$ $\hat F$ $F$

{b i a s}_{\hat{F}} = E_{\hat{F}} [s (x^{*})] - t (\hat{F}),

$\mathrm{bias}_{\hat F} = E_{\hat F}[s(x^*)] - t(\hat F),$

x^{*}

$x^*$

x

$x$

La costante è un perfetto plug-in preventivo per la stessa costante: $c$ La popolazione è e il campione , la distribuzione empirica, che si avvicina . Se potessi valutare , otterrai . Quando si calcola il plug-in preventivo si ottiene anche . Nessun pregiudizio, come ti aspetteresti. $\sim F$ $\sim \hat F$ $F$ $t(F) = c$ $c$ $t(\hat F) = c$ $c$

Un noto caso in cui v'è una distorsione nel plug-in stima è in varianza stima, quindi la correzione di Bessel. Di seguito lo dimostrerò. La stima del bias del bootstrap non è poi così male: $t(\hat F)$

library(plyr)

n <- 20
data <- rnorm(n, 0, 1)

variance <- sum((data - mean(data))^2)/n

boots <- raply(1000, {
  data_b <- sample(data, n, replace=T)
  sum((data_b - mean(data_b))^2)/n
})

# estimated bias
mean(boots) - variance 
#> [1] -0.06504726

# true bias:
((n-1)/n)*1 -1
#> [1] -0.05

Potremmo invece prendere come media della popolazione e , situazione in cui nella maggior parte dei casi dovrebbe esserci un chiaro pregiudizio: $t(F)$ $s(x) = c$

library(plyr)

mu <- 3
a_constant <- 1

n <- 20
data <- rnorm(n, mu, 1)

boots <- raply(1000, {
  # not necessary as we will ignore the data, but let's do it on principle
  data_b <- sample(data, n, replace=T)

  a_constant
})

# estimated bias
mean(boots) - mean(data) 
#> [1] -1.964877

# true bias is clearly -2

Ancora una volta la stima del bootstrap non è poi così male.

— Einar
fonte

Ho aggiunto questa risposta perché le altre risposte sembrano dare per scontato che è un problema che la stima bootstrap del bias sia 0 quando

è una costante. Non ci credo.

t

$t$

— einar,

Mi piace la tua risposta e la tua demo, ma non credo che la tua definizione sia corretta "La stima bootstrap del bias è una stima del bias tra una funzione del tuo campione e la stessa funzione valutata nella popolazione." Mentre ciò che scrivi è ben definito, se questa fosse la definizione, non ci sarebbe modo di usare il bootstrap per stimare la distorsione, ad esempio, della varianza del campione come stimatore della varianza della popolazione.

— David R

@DavidR Hai ragione, grazie per aver commentato. Ho aggiornato la risposta.

— einar

Mi piace molto questo commento! La mia unica domanda riguarda "stima bootstrap del bias". Penso che ciò che hai scritto sia l'effettivo pregiudizio dello stimatore (ma per la distribuzione empirica piuttosto che per la vera distribuzione), dal momento che ti stai aspettando di avere dei campioni bootstrap. Penso che lo stimatore bootstrap sarebbe una somma finita su campioni B bootstrap?

— David R

1

@DavidR Sono contento che tu lo faccia! Quello che riporto è tecnicamente la stima bootstrap di bias (perché si usa

al posto di

e l'aspettativa di bootstrap

in luogo della sua aspettativa su

). Ma nella maggior parte delle applicazioni pratiche

è intrattabile e approssimativo che da Monte Carlo come dici tu.

t (\hat{F})

$t(\hat F)$

θ

$\theta$

s ()

$s()$

F

$F$

E_{\hat{F}} [s (x^{*})]

$E_{\hat F}[s(x^*)]$

— einar

3

Fai un errore e forse questa è la ragione per cui ti confondi. Tu dici:

se il mio stimatore restituisce semplicemente una costante indipendente dalle osservazioni, la precedente stima della distorsione non è chiaramente valida

Bootstrap non riguarda quanto il tuo metodo sia distorto, ma quanto i risultati ottenuti da alcune funzioni, dato che i tuoi dati sono distorti.

Se scegli il metodo statistico appropriato per analizzare i tuoi dati e tutti i presupposti di questo metodo sono soddisfatti e hai fatto correttamente la tua matematica, il tuo metodo statistico dovrebbe fornirti la "migliore" stima possibile che puoi ottenere usando i tuoi dati .

L'idea di bootstrap è di campionare i tuoi dati nello stesso modo in cui hai campionato i tuoi casi dalla popolazione, quindi è una specie di replica del tuo campionamento. Ciò ti consente di ottenere una distribuzione approssimativa (usando le parole Efrons) del tuo valore e quindi di valutare la distorsione della tua stima.

Tuttavia, ciò che sostengo è che il tuo esempio è fuorviante e quindi non è l'esempio migliore per discutere bootstrap. Dato che ci sono stati malintesi su entrambi i lati, vorrei aggiornare la mia risposta e scriverla in modo più formale per illustrare il mio punto.

Polarizzazione per essere stima del valore vero è definito come: $\hat{\theta}$ $\theta$

bias ({\hat{θ}}_{n}) = E_{θ} ({\hat{θ}}_{n}) - θ

$\text{bias}(\hat{\theta}_n) = \mathbb{E}_\theta(\hat{\theta}_n) - \theta$

dove:

{\hat{θ}}_{n} = g (x_{1}, x_{2}, . . ., x_{n})

$\hat{\theta}_n = g(x_1,x_2,...,x_n)$

dove è lo stimatore. $g(\cdot)$

Come osserva Larry Wasserman nel suo libro "All the Statistics" :

Un requisito ragionevole per uno stimatore è che dovrebbe convergere al vero valore del parametro man mano che raccogliamo sempre più dati. Questo requisito è quantificato dalla seguente definizione:
6.7 Definizione. Un punto stimatore di un parametro è coerente se . $\hat{\theta}_n$ $\theta$ $\hat{\theta}_n \overset{P}{\rightarrow} \theta$

Stimatore costante, essendo una funzione costante di : non non soddisfare questo requisito essendo indipendente dei dati e crescente numero di osservazioni non renderebbe avvicinarsi al valore vero (se non per pura fortuna o avere molto solida ipotesi a priori su è che ). $x$ $g(X) = \lambda$ $\theta$ $\lambda$ $\lambda = \theta$

Stimatore costante non soddisfa il requisito fondamentale per essere uno stimatore ragionevole e, quindi, è possibile stimare che di polarizzazione perché non si avvicina anche con . È impossibile farlo con bootstrap e con qualsiasi altro metodo, quindi non è un problema con bootstrap. $\hat{\theta}_n$ $\theta$ $n \rightarrow \infty$

— Tim
fonte

5

Temo che questa risposta sembri destinata a seminare confusione. Uno stimatore costante è uno stimatore secondo la maggior parte delle definizioni - e in alcuni casi è persino ammissibile. La tua domanda confonde il bias di campionamento con il bias di stima, che è destinato a confondere quasi tutti i lettori. Il tuo paragrafo sulla "migliore stima possibile" è carino ma pone la domanda essenziale su come misurare "meglio". La distorsione è solo una componente (se non del tutto).

— whuber

Anche se non sono abbastanza qualificato per rispondere a OP, temo che Whuber abbia ragione. Inoltre, è valido chiamare la popolazione significa uno stimatore? Relativamente all'ultima frase, penso che boostrap fornisca una stima del bias dello stimatore in analisi e non del metodo di campionamento.

— Mugen,

Comprendo che il bootstrap non è in grado di rilevare errori sistematici, ma almeno in alcuni limiti si suppone che rilevi errori di statistica. Suppongo che il tuo punto riguardi la delicatezza nel distinguere tra i due, ma per me non è ancora chiaro. Sembra che tu stia parlando di una nozione di pregiudizio di cui non ho mai sentito parlare, non dello stimatore, ma dei dati. Qual è la definizione formale di questa nozione di parzialità?

— Bootstrapped

3

λ

$\lambda$

θ

$\theta$

λ - θ

$\lambda-\theta$

8

\hat{θ}

$\hat\theta$

0

$0$

n < 10^{100}

$n\lt 10^{100}$

3

$t$

{b i a s}_{t} \approx \frac{1}{N} \sum_{i} {\tilde{t}}_{i} - t^{*}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i- t^* \end{equation}$

Si desidera utilizzare la statistica effettiva valutata sulla distribuzione empirica (questo è spesso facile, poiché il campione originale è un insieme finito), piuttosto che la stima. In alcuni casi, questi possono essere gli stessi (ad esempio, la media empirica è la stessa della media del campione), ma non saranno in generale. Hai fornito un caso in cui sono diversi, ma un esempio meno patologico è il solito stimatore imparziale per la varianza, che non è lo stesso della varianza della popolazione quando applicato a una distribuzione finita.

$t$

TL / DR: il metodo bootstrap non è magico. Per ottenere una stima imparziale della distorsione, è necessario essere in grado di calcolare il parametro di interesse esattamente su una distribuzione finita.

— Evan Wright
fonte

1

Non sono sicuro del significato della tua notazione. Secondo questi appunti di Pete Hall (UC Davis), questi appunti di Cosma Shalizi (CMU) e questa pagina del libro di Efron e Tibshirani sembrano indicare che ciò che ho non è sbagliato, ma non del tutto generale (cioè sto usando lo stimatore plug-in qui, ma non è necessario).

— Bootstrapped

t^{*} = \hat{t}

$t^* = \hat t$

θ (F_{1})

$\theta(F_1)$

t^{*}

$t^*$

\hat{θ}

$\hat \theta$

\hat{t}

$\hat t$

t

$t$

t^{*}

$t^*$

— Evan Wright il

t^{*} = \hat{t}

$t^*=\hat t$

1

t^{*}

$t^*$

N \to \infty

$N \to \infty$

t^{*}

$t^*$

t^{*}

$t^*$

{\tilde{t}}_{i}

$\tilde t_i$

t^{*}

$t^*$

0

Trovo utile pensare alle procedure bootstrap in termini di funzionali delle distribuzioni su cui operano - ho fornito un esempio in questa risposta a una diversa domanda bootstrap.

La stima che hai dato è quella che è: una stima. Nessuno dice che non soffra di problemi che potrebbero avere stime statistiche. Ti fornirà una stima diversa da zero della distorsione per la media del campione, per esempio, che sappiamo tutti che è imparziale all'inizio. Un problema con questo stimatore di pregiudizio è che soffre della variabilità del campionamento quando il bootstrap è implementato come Monte Carlo piuttosto che un elenco completo di tutti i possibili sottocampioni (e nessuno che quel bootstrap teorico in pratica, comunque).

$B$ $B$

— Stask
fonte

7

Penso che la domanda originale di Bootstrapped sia ortogonale alla questione della variabilità di Monte Carlo. Anche se portiamo il numero di repliche bootstrap su infinito, la formula nella domanda fornirà una stima zero per il bias di uno stimatore costante e fornirà una stima diversa da zero per il bias della normale stima imparziale della varianza.

— Evan Wright,