Intuitivamente, come funziona il bootstrap selvaggio?

Sto cercando di capire l'intuizione dietro il selvaggio bootstrap. Che cosa sta realmente facendo? Devo essere in grado di capire cosa sta cercando di fare rispetto a una regressione convenzionale.

I miei dati hanno eteroschedasticità e il metodo che utilizzo fa 5000 repliche.

Come genera 5000 dati extra?

regression bootstrap intuition

— Francis Origi
fonte

Diciamo che hai un set di allenamento $\mathcal{T}$ di $n$ coppie di esempio $(y_i, \vec{x}_i)$ .

Un normale bootstrap è un set $\mathcal{B}$ di $n$ coppie di esempio $(y_{r_i}, \vec{x}_{r_i})$ , dove $r_i$ è una sequenza di $n$ numeri interi casuali campionati uniformemente da 1 a $n$ . In particolare, si noti che ogni esempio in $\mathcal{B}$ è esattamente lo stesso di uno degli esempi di $\mathcal{T}$ e alcuni si ripetono. Ma questo è un po 'strano, specialmente quando la variabile di risposta è continua, perché se ricampionassimo la popolazione originale, quasi sicuramente non otterremmo nemmeno un duplicato esatto , mentre è probabile che un bootstrap ne abbia molti.

Per evitare duplicati, abbiamo bisogno degli esempi di $\mathcal{B}$ non essere copie carbone di esempi da $\mathcal{T}$ , ma esempi piuttosto sintetici che assomigliano di più a ciò che vorremmo ottenere abbiamo campionato dalla popolazione originale. Ciò richiede di fare un presupposto sulla distribuzione della popolazione originale.

Se assumiamo l'omoschedasticità e adattiamo un modello lineare a $\mathcal{T}$ che ha residui $e_i$ allora possiamo costruire nuovi esempi sintetici sostituendo il residuo montato da ciascun esempio con il residuo di un diverso esempio di addestramento. Se i residui sono veramente evitati, non ci dovrebbero essere problemi a scambiarli uno con l'altro. Facciamo questa sostituzione sottraendo il residuo trovato per l'esempio di addestramento $(y_i, \vec{x}_i)$ e aggiungendo il residuo per qualche altro esempio:

\begin{matrix} (1) & y_{i}^{*} = y_{r_{i}} - e_{r_{i}} + e_{r_{i}^{'}} \end{matrix}

$y^*_i = y_{r_i} - e_{r_i} + e_{r'_i} \tag{1}$

Dove $r_i$ e $r'_i$ sono due ricampionamenti diversi e indipendenti. Possiamo quindi formare il bootstrap nel solito modo:

\begin{matrix} (2) & B = {(y_{i}^{*}, {\vec{x}}_{i})}_{i = 1}^{n} \end{matrix}

$\mathcal{B} = \{\, (y^*_i, \vec{x}_i)\, \}_{i=1}^n \tag{2}$

Questo è chiamato bootstrap residuo e può essere considerato come la scelta di nuovi residui dalla funzione di distribuzione empirica dei residui.

Per allentare ulteriormente le ipotesi di iid e omoschedasticità, possiamo usare un bootstrap selvaggio , in cui calcoliamo la nuova variabile di risposta in modo ancora più casuale moltiplicando il residuo scelto casualmente per l'ennesima variabile casuale $v_i$ .

\begin{matrix} (3) & y_{i}^{*} = y_{r_{i}} - e_{r_{i}} + v_{i} e_{r_{i}^{'}} \end{matrix}

$y^*_i = y_{r_i} - e_{r_i} + v_i e_{r'_i} \tag{3}$

Spesso la distribuzione normale standard $v_i \sim \mathcal{N}(0, 1)$ viene utilizzato ma sono possibili altre opzioni. Ad esempio, a volte $v_i$ viene semplicemente scelto con uguale probabilità da $\{-1,1\}$ , che capovolge semplicemente casualmente il segno per metà del tempo, costringendo la distribuzione residua a essere simmetrica. Il punto è quello di ottenere esempi di addestramento più vicini a ciò che avremmo tratto dalla popolazione originale senza la replica artificiale introdotta dal bootstrap.

— olooney
fonte

Quindi, in sostanza, generiamo errori che si comportano allo stesso modo dei residui effettivi e quindi otteniamo dati effettivi che si comportano allo stesso modo dei dati effettivi? Qualche libro di testo da raccomandare?

— Francis Origi,

allora cosa, cosa facciamo con tutti questi dati extra? Come si fa a definire le statistiche t ecc.?

— Francis Origi,