Qual è la regola .632+ nel bootstrap?

107

Qui @gung fa riferimento alla regola .632+. Una rapida ricerca su Google non fornisce una risposta di facile comprensione su cosa significhi questa regola e per quale scopo venga utilizzata. Qualcuno potrebbe chiarire la regola .632+?

bootstrap

— russellpierce
fonte

115

Arriverò allo stimatore 0.632, ma sarà uno sviluppo piuttosto lungo:

Supponiamo di voler prevedere $Y$ con $X$ utilizzando la funzione $f$ , dove $f$ può dipendere da alcuni parametri stimati utilizzando i dati $(\mathbf{Y}, \mathbf{X})$ , ad esempio $f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

Una stima ingenua dell'errore di previsione è doveè una funzione di perdita, ad es. Perdita di errore al quadrato. Questo è spesso chiamato errore di allenamento. Efron et al. lo chiama tasso di errore apparente o tasso di reintegrazione. Non è molto buono poiché usiamo i nostri datiper adattarci a. Ciò comporta chesia distorto verso il basso. Volete sapere quanto bene fa il vostro modellonel prevedere nuovi valori.

\bar{e r r} = \frac{1}{N} Σ_{io = 1}^{N} L (y_{io}, f (X_{io}))

$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$

L

$L$

(x_{i}, y_{i})

$(x_i,y_i)$

f

$f$

\bar{e r r}

$\overline{err}$

f

$f$

Spesso utilizziamo la convalida incrociata come un modo semplice per stimare l'errore di predizione extra-campione atteso (in che misura il nostro modello fa i dati non nel nostro set di formazione?).

E r r = E [L (Y, f (X))]

$Err = \text{E}\left[ L(Y, f(X))\right]$

Un modo popolare per farlo è fare la validazione incrociata di -fold. Dividi i tuoi dati in gruppi (ad es. 10). Per ogni gruppo , adatta il tuo modello ai restanti gruppi e testalo sul esimo gruppo. Il nostro errore di predizione extra-validato con cross-validation è solo la media $K$ $K$ $k$ $K-1$ $k$ doveè una funzione di indice che indica la partizione a cuiè allocata l'osservazioneeè il valore previsto diutilizzando dati nonset.

E r r_{C V} = \frac{1}{N} Σ_{io = 1}^{N} L (y_{io}, f_{- κ (io)} (X_{io}))

$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$

κ

$\kappa$

i

$i$

f_{- κ (i)} (x_{i})

$f_{-\kappa(i)}(x_i)$

x_{i}

$x_i$

κ (i)

$\kappa(i)$

Questo stimatore è approssimativamente imparziale per il vero errore di previsione quando ha una varianza maggiore ed è più costoso dal punto di vista computazionale per maggiore . Quindi, ancora una volta vediamo in gioco il compromesso tra distorsione e pregiudizio. $K=N$ $K$

Invece della convalida incrociata potremmo usare il bootstrap per stimare l'errore di predizione extra-sample. Il ricampionamento Bootstrap può essere utilizzato per stimare la distribuzione campionaria di qualsiasi statistica. Se i nostri dati formazione è , allora possiamo pensare di prendere campioni bootstrap (con sostituzione) da questo insieme dove ogni è un insieme di campioni . Ora possiamo usare i nostri campioni bootstrap per stimare l'errore di predizione di campioni extra: $\mathbf{X} = (x_1,\ldots,x_N)$ $B$ $\mathbf{Z}_1,\ldots,\mathbf{Z}_B$ $\mathbf{Z}_i$ $N$ doveè il valore previsto indal modello adattatoall'insieme di dati bootstrap. Sfortunatamente, questo non è uno stimatore particolarmente buono perché i campioni bootstrap usati per produrrepotrebbero contenere

E r r_{B o o t} = \frac{1}{B} Σ_{B = 1}^{B} \frac{1}{N} Σ_{io = 1}^{N} L (y_{io}, f_{B} (X_{io}))

$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$

f_{b} (x_{i})

$f_b(x_i)$

x_{i}

$x_i$

b

$b$

f_{b} (x_{i})

$f_b(x_i)$

x_{i}

$x_i$ . Lo stimatore del bootstrap con esclusione offre un miglioramento imitando la convalida incrociata ed è definito come:

dove

è l'insieme di indici per i campioni bootstrap che non contengono osservazioni

, e

è il numero di tali campioni.

E r r_{b o o t (1)} = \frac{1}{N} \sum_{i = 1}^{N} \frac{1}{| C^{- i} |} \sum_{b \in C^{- i}} L (y_{i}, f_{b} (x_{i}))

$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$

C^{- i}

$C^{-i}$

i

$i$

| C^{- i} |

$|C^{-i}|$

E r r_{b o o t (1)}

$Err_{boot(1)}$ risolve il problema di overfitting, ma è ancora di parte (questo è di parte). Il bias è dovuto a osservazioni non distinte nei campioni bootstrap che risultano dal campionamento con la sostituzione. Il numero medio di osservazioni distinte in ciascun campione è di circa

(vedere questa risposta per una spiegazione del perché Perché in media ciascun campione bootstrap contiene circa due terzi delle osservazioni? ). Per risolvere il problema di distorsione, Efron e Tibshirani hanno proposto lo stimatore 0.632:

0.632 N

$0.632N$

dove

E r r_{.632} = 0.368 \bar{e r r} + 0.632 E r r_{b o o t (1)}

$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$

è la stima ingenua dell'errore di predizione spesso chiamato errore di allenamento. L'idea è di mediare una stima distorta al ribasso e una stima distorta al rialzo.

\bar{e r r} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f (x_{i}))

$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$

Tuttavia, se disponiamo di una funzione di predizione molto attillata (ovvero ), anche lo stimatore .632 sarà distorto verso il basso. Lo stimatore .632+ è progettato per essere un compromesso meno distorto tra ed . $\overline{err}=0$ $\overline{err}$ $Err_{boot(1)}$ con

E r r_{0,632 +} = (1 - w) \bar{e r r} + w E r r_{B o o t (1)}

$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$

dove

è il tasso di errore senza informazioni, stimato valutando il modello di previsione su tutte le possibili combinazioni di obiettivi

e predittori

.

w = \frac{0,632}{1 - 0.368 R} e R = \frac{E r r_{B o o t (1)} - \bar{e r r}}{γ - \bar{e r r}}

$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$

γ

$\gamma$

y_{i}

$y_i$

x_{i}

$x_i$

.

γ = \frac{1}{N^{2}} Σ_{io = 1}^{N} Σ_{j = 1}^{N} L (y_{io}, f (X_{j}))

$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$

Qui misura la relativa velocità di overfitting. Se non vi è alcun eccesso di valore (R = 0, quando ) questo è uguale allo stimatore .632. $R$ $Err_{boot(1)} = \overline{err}$

— bdeonovic
fonte

2

Queste sono buone domande, @rpierce, ma si allontanano in qualche modo dall'argomento centrale di questa discussione. Sarebbe meglio, in termini di organizzazione CV, inserirli in un nuovo thread, in modo che sia più facile per le persone trovare e utilizzare tali informazioni successivamente.

— gung - Ripristina Monica

1

Domanda 1: stats.stackexchange.com/questions/96764/…

— russellpierce

1

Domanda 2: en.wikipedia.org/wiki/Resampling_%28statistics%29#Jackknife via stats.stackexchange.com/questions/21023/bootstrap-vs-jackknife

— russellpierce

1

\bar{e r r} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f (x_{i}))

$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$

\frac{1}{n} \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}

$\dfrac{1}{n}\sum_{i=1}^n (y_i-\hat{y}_i)^2$

1

@rpierce, sì! Ero un po 'generale perché stavo recyling molto di questo materiale da alcune note di classe.

— bdeonovic,

53

$S$ $n$ $\{1:n\}$ $S$ $(1-e^{-1})\,n \approx 0.63212056\, n$

$S=\{s_1,\ldots,s_n\}$ $i=1,\ldots,n$ $\{1:n\}$ $m\in\{1:n\}$

Poi:

P (S_{io} = m) = 1 / n

$P(s_i=m)=1/n$

e

P (S_{io} \neq m) = 1 - 1 / n

$P(s_i\neq m)=1-1/n$

$\forall 1\leq i \leq n$ $i$

così

P (m \in S) = 1 - P (m \notin S) = 1 - P (\cap_{io = 1}^{n} S_{io} \neq m) = 1 - Π_{io = 1}^{n} P (S_{io} \neq m) = 1 - (1 - 1 / n)^{n} \approx 1 - e^{- 1}

$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$

$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Bradley Efron e Robert Tibshirani (1997). Miglioramenti della convalida incrociata: il metodo .632+ Bootstrap . Journal of American Statistical Association , vol. 92, n. 438, pagg. 548-560.

— user603
fonte

3

ecco un documento per te in riferimento - stat.washington.edu/courses/stat527/s14/readings/…

1

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

S_{1}, \dots, S_{n}

$S_1,\dots,S_n$

. Risultato:

P (S_{i} = k) = \frac{1}{n} I_{{1, \dots, n}} (k)

$P(S_i=k)=\frac{1}{n}\;I_{\{1,\dots,n\}}(k)$

P (\cup_{i = 1}^{n} {S_{i} = k}) = 1 - P (\cap_{i = 1}^{n} {S_{i} \neq k}) = 1 - \prod_{i = 1}^{n} P {S_{i} \neq k} = 1 - (1 - 1 / n)^{n} \to 1 - 1 / e \approx 63.21 %

$P(\cup_{i=1}^n\{S_i=k\})=1-P(\cap_{i=1}^n\{S_i\neq k\})=1-\prod_{i=1}^n P\{S_i\neq k\}=1-(1-1/n)^n\to1-1/e\approx 63.21\%$

4

1 - e^{- 1} \approx 0.63212056

$1-e^{-1}\approx0.63212056$

1

Anche questa risposta è ottima, infatti, la risposta accettata più questa risposta in realtà fornisce la risposta completa alla mia domanda - ma tra i due mi sento come se Benjamin fosse più vicino a quello che stavo cercando in una risposta. Detto questo, vorrei davvero che fosse possibile accettare entrambi.

— russellpierce,

1

@rpierce: Per citare Celine Dion, "Storia vecchia come il tempo / canzone vecchia come la rima / La bella e la bestia". : P

— Nick Stauner,

8

$c$

— Frank Harrell
fonte

3

Non credo di aver capito la maggior parte delle cose che hai detto qui Frank. Saresti disposto a chiarire? Sembra che tu abbia qualcosa di unico e importante da contribuire.

— Russellpierce,

Sono contento di espandersi se è possibile formulare una domanda specifica.

— Frank Harrell,

1

Queste regole di punteggio stavano ... giudicando la qualità del risultato bootstrap? Potresti fornire un link che descriva la proporzione "classificata" che regola correttamente il punteggio, ho difficoltà a immaginare che tipo di bestia potrebbe essere. Tra i migliori risultati di "ottimismo Efron-Gong" su Google, la stragrande maggioranza sembra essere post da te ... come è diverso dal dire "bootstrap" senza le qualificazioni? Quale articolo di Effron e Gong dovrei cercare? Sembra che ce ne siano diversi.

— russellpierce,

3

Vedi l'articolo originale su 0.632 che utilizza e definisce la proporzione correttamente classificata (Efron & Tibshirani JASA 92: 548; 1997). L'ottimismo bootstrap è una variante del bootstrap per stimare il bias. È descritto in Gong: JASA 85:20; 1990.

— Frank Harrell,

2

Queste risposte sono molto utili. Non sono riuscito a trovare un modo per dimostrarlo con la matematica, quindi ho scritto del codice Python che funziona abbastanza bene anche se:

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)

— Anil Narassiguin
fonte