Perché in media ogni campione bootstrap contiene circa due terzi delle osservazioni?

Ho eseguito attraverso l'affermazione che ogni campione bootstrap (o albero insaccato) conterranno in media di circa $2/3$ delle osservazioni.

Capisco che la possibilità di non essere scelto in una qualsiasi delle $n$ trae dal $n$ campioni con sostituzione è $(1- 1/n)^n$ , che funziona a circa $1/3$ possibilità di non essere selezionato.

Che cosa è una spiegazione matematica per cui questa formula dà sempre $\approx 1/3$ ?

$\lim_{n\to\infty}(1- 1/n)^n=e^{-1}$
$e^{-1} =1/e \approx 1/3$

Non funziona con n molto piccolo $n$, ad es. $n=2$ , $(1- 1/n)^n=\frac{1}{4}$ . Passa $\frac{1}{3}$ a $n=6$ , passa $0.35$ a $n=11$ e $0.366$ di $n=99$ . Una volta che vai oltre $n=11$ , $\frac{1}{e}$ è un'approssimazione migliore di $\frac{1}{3}$ .

La linea tratteggiata grigia è in $\frac{1}{3}$ ; la linea rossa e grigia è in $\frac{1}{e}$ .

Piuttosto che mostrare una derivazione formale (che può essere facilmente trovata), fornirò uno schema (che è un argomento intuitivo e manuale) del perché un risultato (leggermente) più generale contiene:

$$e^x = \lim_{n\to \infty} \left(1 + x/n \right)^n$$

(Molte persone ritengono che questa sia la definizione di , ma puoi provarlo da risultati più semplici come la definizione di come .)$\exp(x)$$e$$\lim_{n\to \infty} \left(1 + 1/n \right)^n$

Fatto 1: Segue i risultati di base sui poteri e sull'esponenziazione$\exp(x/n)^n=\exp(x)\quad$

Fatto 2: quando è grande, Segue l'espansione della serie per .$n$$\exp(x/n) \approx 1+x/n\quad$$e^x$

(Posso dare argomenti più completi per ciascuno di questi ma presumo che tu li conosca già)

Sostituire (2) in (1). Fatto. (Perché questo funzioni come un argomento più formale richiederebbe un po 'di lavoro, perché dovresti dimostrare che i termini rimanenti nel Fatto 2 non diventano abbastanza grandi da causare un problema se portati al potere . Ma questa è intuizione piuttosto che una prova formale.)$n$

[In alternativa, prendi la serie Taylor per al primo ordine. Un secondo approccio semplice è prendere l'espansione binomiale di e prendere il limite termine per termine, mostrando che fornisce i termini della serie per .]$\exp(x/n)$$\left(1 + x/n \right) ^n$$\exp(x/n)$

Quindi se , basta sostituire .$e^x = \lim_{n\to \infty} \left(1 + x/n \right) ^n$$x=-1$

Immediatamente, abbiamo il risultato in cima a questa risposta,$\lim_{n\to\infty}(1- 1/n)^n=e^{-1}$

---

Come sottolinea gung nei commenti, il risultato nella tua domanda è l'origine della regola bootstrap 632

es. vedi

Efron, B. e R. Tibshirani (1997),
"Miglioramenti alla convalida incrociata: il metodo .632+ Bootstrap",
Journal of American Statistical Association Vol. 92, n. 438. (giu), pagg. 548-560

Più precisamente, ogni campione bootstrap (o albero in sacchi) conterrà del campione.$1-\frac{1}{e} \approx 0.632$

Vediamo come funziona il bootstrap. Abbiamo un campione originale con elementi in esso. Disegniamo articoli con sostituzione da questo set originale fino a quando non avremo un altro set di dimensioni .$x_1, x_2, \ldots x_n$$n$$n$

Da ciò, ne consegue che la probabilità di scegliere uno qualsiasi degli elementi (diciamo, ) al primo sorteggio è . Pertanto, la probabilità di non scegliere quell'elemento è . Questo è solo per il primo sorteggio; ci sono un totale di sorteggi, tutti indipendenti, quindi la probabilità di non scegliere mai questo oggetto in nessuno dei sorteggi è .$x_1$$\frac{1}{n}$$1 - \frac{1}{n}$$n$$(1-\frac{1}{n})^n$

Ora, pensiamo a cosa succede quando diventa sempre più grande. Possiamo prendere il limite mentre va verso l'infinito, usando i soliti trucchi di calcolo (o Wolfram Alpha): $n$$n$

$$\lim_{n \rightarrow \infty} \big(1-\frac{1}{n}\big)^n = \frac{1}{e} \approx 0.368$$

Questa è la probabilità che un oggetto non venga scelto. Sottrai da uno per trovare la probabilità dell'articolo scelto, che ti dà 0,632.

Il campionamento con sostituzione può essere modellato come una sequenza di prove binomiali in cui "successo" è un'istanza selezionata. Per un set di dati originale di istanze, la probabilità di "successo" è e la probabilità di "fallimento" è . Per una dimensione del campione di , la probabilità di selezionare un'istanza esattamente volte è data dalla distribuzione binomiale:$n$$1/n$$(n-1)/n$$b$$x$

$$P(x,b,n) = \bigl(\frac{1}{n}\bigr)^{x} \bigl(\frac{n-1}{n}\bigr)^{b-x} {b \choose x}$$

Nel caso specifico di un campione bootstrap, la dimensione del campione uguale al numero di istanze . Lasciando approccio all'infinito, si ottiene:$b$$n$$n$

$$\lim_{n \rightarrow \infty} \bigl(\frac{1}{n}\bigr)^{x} \bigl(\frac{n-1}{n}\bigr)^{n-x} {n \choose x} = \frac{1}{ex!}$$

Se il nostro set di dati originale è grande, possiamo usare questa formula per calcolare la probabilità che un'istanza sia selezionata esattamente volte in un campione bootstrap. Per , la probabilità è o circa . La probabilità che un'istanza venga campionata almeno una volta è quindi .$x$$x = 0$$1/e$$0.368$$1 - 0.368 = 0.632$

Inutile dire che ne ho scrupolosamente derivato usando carta e penna e non ho nemmeno preso in considerazione l'uso di Wolfram Alpha.

Basta aggiungere alla risposta di @ retsreg questo può anche essere dimostrato abbastanza facilmente tramite la simulazione numerica in R:

N <- 1e7 # number of instances and sample size
bootstrap <- sample(c(1:N), N, replace = TRUE)
round((length(unique(bootstrap))) / N, 3)
## [1] 0.632

Questo può essere facilmente visto contando. Quanti campioni possibili totali? n ^ n. Quanti NON contengono un valore specifico? (N-1) ^ n. Probabilità di un campione che non ha un valore specifico - (1-1 / n) ^ n, che è di circa 1/3 del limite.