Media del campione bootstrap vs statistica del campione

Supponiamo che io abbia un campione e il campione bootstrap di questo esempio per un stastitico (ad es. La media). Come tutti sappiamo, questo esempio di bootstrap stima la distribuzione campionaria dello stimatore della statistica. $\chi$

Ora, la media di questo campione bootstrap è una stima migliore della statistica della popolazione rispetto alla statistica del campione originale ? In quali condizioni sarebbe il caso?

estimation bootstrap

— Amelio Vazquez-Reina
fonte

La media del campione bootstrap è la media del campione e in questo caso non è necessario un campione bootstrap.

— Xi'an,

Grazie @ Xi'an non sono sicuro di seguire. La media del campione bootstrap può essere numericamente diversa dalla media del campione. Stai cercando di dire che i due sono ancora teoricamente equivalenti? Puoi confermare ad entrambe le estremità?

— Amelio Vazquez-Reina,

Cerchiamo di chiarire la nostra terminologia: "campione bootstrap" potrebbe riferirsi a un campione specifico con sostituzione dei dati oppure potrebbe riferirsi a una variabile casuale (multivariata) di cui un campione del genere sarebbe considerato una realizzazione. Hai ragione sul fatto che la media di una realizzazione può differire dalla media dei dati, ma @ Xi'an fornisce l'osservazione più rilevante che la media della variabile casuale (che per definizione è la stima bootstrap della media della popolazione ) deve coincidere con la media dei dati.

— whuber

Quindi la tua domanda è quasi identica a stats.stackexchange.com/questions/126633/… ; l'unica differenza è che le realizzazioni di esempio bootstrap possono sovrapporsi, ma l'analisi fornita nella risposta viene facilmente trasferita alla situazione bootstrap, con lo stesso risultato.

— whuber

Vedo la connessione @whuber, sebbene in bootstrap ci siano "sottoinsiemi con sostituzione" e le realizzazioni potrebbero sovrapporsi, come hai detto. Immagino che la distribuzione (es. Pseudorandomness) usata per ottenere i ri-campioni nel bootstrap possa anche influenzare la distorsione della stima dal campione bootstrap. Forse la risposta è che per tutte le questioni pratiche la differenza è trascurabile. Questa è la domanda: condizioni, sottigliezze e differenze pratiche.

— Amelio Vazquez-Reina,

Risposte:

Generalizziamo, in modo da concentrarci sul nocciolo della questione. Spiegherò i dettagli più piccoli in modo da non lasciare dubbi. L'analisi richiede solo quanto segue:

La media aritmetica di un insieme di numeri è definita come $z_1, \ldots, z_m$

$\frac{1}{m} (z_{1} + \dots + z_{m}) .$ $\frac{1}{m}\left(z_1 + \cdots + z_m\right).$
L'aspettativa è un operatore lineare. Cioè, quando sono variabili casuali e sono numeri, quindi l'aspettativa di una combinazione lineare è la combinazione lineare delle aspettative, $Z_i, i=1,\ldots,m$ $\alpha_i$

$E (α_{1} Z_{1} + \dots + α_{m} Z_{m}) = α_{1} E (Z_{1}) + \dots + α_{m} E (Z_{m}) .$ $\mathbb{E}\left(\alpha_1 Z_1 + \cdots + \alpha_m Z_m\right) = \alpha_1 \mathbb{E}(Z_1) + \cdots + \alpha_m\mathbb{E}(Z_m).$

Sia un campione ottenuto da un set di dati prendendo elementi uniformemente da con la sostituzione. Let sia la media aritmetica dei . Questa è una variabile casuale. Poi $B$ $(B_1, \ldots, B_k)$ $x = (x_1, \ldots, x_n)$ $k$ $x$ $m(B)$ $B$

E (m (B)) = E (\frac{1}{k} (B_{1} + \dots + B_{k})) = \frac{1}{k} (E (B_{1}) + \dots + E (B_{k}))

$\mathbb{E}(m(B)) = \mathbb{E}\left(\frac{1}{k}\left(B_1+\cdots+B_k\right)\right) = \frac{1}{k}\left(\mathbb{E}(B_1) + \cdots + \mathbb{E}(B_k)\right)$

segue la linearità delle aspettative. Poiché gli elementi di sono tutti ottenuti nello stesso modo, hanno tutti la stessa aspettativa, dicono: $B$ $b$

E (B_{1}) = \dots = E (B_{k}) = b .

$\mathbb{E}(B_1) = \cdots = \mathbb{E}(B_k) = b.$

Questo semplifica quanto sopra

E (m (B)) = \frac{1}{k} (b + b + \dots + b) = \frac{1}{k} (k b) = b .

$\mathbb{E}(m(B)) = \frac{1}{k}\left(b + b + \cdots + b\right) = \frac{1}{k}\left(k b\right) = b.$

Per definizione, l'aspettativa è la somma dei valori ponderata in base alla probabilità. Poiché si presume che ciascun valore di abbia una pari probabilità di di essere selezionato, $X$ $1/n$

E (m (B)) = b = E (B_{1}) = \frac{1}{n} x_{1} + \dots + \frac{1}{n} x_{n} = \frac{1}{n} (x_{1} + \dots + x_{n}) = \bar{x},

$\mathbb{E}(m(B)) = b = \mathbb{E}(B_1) = \frac{1}{n}x_1 + \cdots + \frac{1}{n}x_n = \frac{1}{n}\left(x_1 + \cdots + x_n\right) = \bar x,$

la media aritmetica dei dati.

Per rispondere alla domanda, se si usa la media dei dati per stimare la media della popolazione, allora anche la media bootstrap (che è il caso ) è uguale a , e quindi è identica a una stima della media della popolazione. $\bar x$ $k=n$ $\bar x$

Per le statistiche che non sono funzioni lineari dei dati, lo stesso risultato non è necessariamente valido. Tuttavia, sarebbe sbagliato semplicemente sostituire la media bootstrap al valore della statistica sui dati: non è così che funziona il bootstrap. Invece, confrontando la media bootstrap con la statistica dei dati otteniamo informazioni sulla distorsione della statistica. Questo può essere usato per regolare la statistica originale per rimuovere la distorsione. Pertanto, la stima corretta in base al bias diventa quindi una combinazione algebrica della statistica originale e della media bootstrap. Per ulteriori informazioni, cercare "BCa" (bootstrap accelerato e accelerato) e "ABC". Wikipedia fornisce alcuni riferimenti.

— whuber
fonte

Vuoi dire che l'aspettativa della media bootstrap è uguale alla media dei dati, no? La media bootstrap non è determinata dal campione di dati (originale).

— capybaralet,

@ user2429920 La media bootstrap è una statistica determinata dal campione. In questo senso è identico alla media del campione. La sua aspettativa è presa nel senso della distribuzione campionaria. Ho il sospetto che potresti usare "aspettativa" in un senso diverso rispetto al processo di calcolo della media bootstrap tramite ripetuti campionamenti con sostituzione.

— whuber

Penso che l'ultimo paragrafo sia la risposta effettiva a questa domanda in quanto è generale e non si concentra solo sulla statistica media. Avevo lo stesso dubbio dell'OP, e non ero a conoscenza dell'esistenza di BCa. Sebbene la dimostrazione in questa risposta non mi abbia aiutato molto (non sto usando la media come mia statistica), l'ultimo paragrafo è stato molto chiaro sul nocciolo della questione. Credo che la risposta di Xi'an affronti anche il caso in cui viene utilizzata la statistica media, quindi lo stesso problema. Grazie!

— Gabriel,

@Gabriel buoni punti. Ho controllato il record: prima della modifica, questa domanda originariamente poneva solo la media. Ecco perché le risposte sembrano essere così focalizzate su quella statistica.

— whuber

Poiché la distribuzione bootstrap è definita come

{\hat{F}}_{n} (X) = \frac{1}{n} Σ_{io = 1}^{n} {io}_{X_{io} \leq X} X_{io} \overset{iid}{~} F (X),

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)\,,$

E_{{\hat{F}}_{n}} [X] = \frac{1}{n} Σ_{io = 1}^{n} X_{io} = {\bar{X}}_{n}

$\mathbb{E}_{\hat{F}_n}[X]=\frac{1}{n}\sum_{i=1}^n X_i=\bar{X}_ n$

E_{{\hat{F}}_{n}} [X]

$\mathbb{E}_{\hat{F}_n}[X]$

{\bar{X}}_{n}

$\bar{X}_ n$

— Xi'an
fonte

+1 Questa è la risposta che inizialmente volevo scrivere, ma temevo potesse essere troppo opaca per alcuni lettori. Sono comunque felice di vederlo presentato in modo così elegante. Non sono sicuro di cosa intendi nella tua ultima frase, tuttavia, dove sembri differenziare la "aspettativa" dell'approssimazione simulata dalla media dal suo "limite": poiché l'aspettativa è costante (non varia con la dimensione della simulazione ), non c'è davvero alcun limite da prendere.

— whuber

@whuber: Grazie per il commento e scusa per aver scritto la mia risposta concisa esattamente nello stesso momento della tua! Le tue spiegazioni sono sicuramente più leggibili dai novizi in bootstrap. Ho corretto l'ultima frase, la cui parte limitante è la legge dei grandi numeri.

— Xi'an,

Il tuo uso di "mean" in quest'ultima frase è abbastanza ambiguo! L'ho capito dal tuo indizio LLN. Per qualsiasi simulazione finita della distribuzione bootstrap, ogni campione nella simulazione produce la propria media (c'è un significato di "media"). La media di tutti quei campioni in una data simulazione produce una media di simulazione (c'è un altro significato). La media della simulazione converge in una costante man mano che le dimensioni della simulazione aumentano, che è la media bootstrap (un terzo significato) e questo equivale alla media del campione (il quarto significato). (E questo stima che la popolazione significhi - un quinto significato!)

— whuber