Spiegare ai non addetti ai lavori perché il bootstrap funziona

Recentemente ho usato il bootstrap per stimare gli intervalli di confidenza per un progetto. Qualcuno che non conosce molto sulle statistiche recentemente mi ha chiesto di spiegare perché il bootstrap funziona, ovvero perché il ricampionamento dello stesso campione più e più volte dà buoni risultati. Mi sono reso conto che, sebbene avessi trascorso molto tempo a capire come usarlo, non capisco davvero perché il bootstrap funzioni.

In particolare: se stiamo eseguendo il ricampionamento dal nostro campione, come stiamo imparando qualcosa sulla popolazione piuttosto che solo sul campione? Sembra che ci sia un salto che è in qualche modo contro-intuitivo.

Ho trovato alcune risposte a questa domanda qui che ho capito a metà. In particolare questo . Sono un "consumatore" di statistiche, non uno statistico, e lavoro con persone che sanno molto meno delle statistiche di me. Quindi, qualcuno può spiegare, con un minimo di riferimenti a teoremi, ecc., Il ragionamento di base dietro il bootstrap? Cioè, se dovessi spiegarlo al tuo vicino, cosa diresti?

dopo la versione di media lunghezza che di solito do va in questo modo:

Vuoi fare una domanda a una popolazione ma non puoi. Quindi prendi un campione e fai invece la domanda. Ora, quanto si dovrebbe essere sicuri che la risposta del campione sia vicina alla risposta della popolazione dipende ovviamente dalla struttura della popolazione. Un modo in cui potresti imparare questo è quello di prelevare campioni dalla popolazione ancora e ancora, porre loro la domanda e vedere quanto tendevano ad essere le risposte del campione. Dal momento che ciò non è possibile, puoi fare alcune ipotesi sulla forma della popolazione oppure puoi usare le informazioni nel campione che devi effettivamente conoscere.

Immagina di decidere di fare ipotesi, ad esempio che sia Normale, o Bernoulli o qualche altra finzione conveniente. Seguendo la strategia precedente, potresti scoprire di nuovo in che misura la risposta alla tua domanda quando ti viene chiesto di un campione può variare a seconda di quale particolare campione hai ottenuto generando ripetutamente campioni della stessa dimensione di quello che hai e chiedendo loro lo stesso domanda. Ciò sarebbe semplice nella misura in cui hai scelto ipotesi computazionalmente convenienti. (In effetti ipotesi particolarmente convenienti più matematica non banale possono consentire di ignorare del tutto la parte di campionamento, ma qui la ignoreremo deliberatamente.)

Sembra una buona idea, purché tu sia felice di fare le ipotesi. Immagina di non esserlo. Un'alternativa è quella di prendere il campione che hai e campionare da esso invece. È possibile fare questo in quanto il campione si ha anche una popolazione, solo una piccolissima discreti uno; sembra l'istogramma dei tuoi dati. Il campionamento "con sostituzione" è solo un modo conveniente per trattare il campione come se fosse una popolazione e campionarlo da esso in modo da riflettere la sua forma.

Questa è una cosa ragionevole da fare perché non solo è il campione che hai il migliore, anzi le uniche informazioni che hai su ciò che la popolazione effettivamente assomiglia, ma anche perché la maggior parte dei campioni, se scelti casualmente, assomigliano abbastanza al popolazione da cui provenivano. Di conseguenza è probabile che lo faccia anche il tuo.

Per intuizione è importante pensare a come è possibile conoscere la variabilità aggregando le informazioni campionate che vengono generate in vari modi e su varie ipotesi. Ignorare completamente la possibilità di soluzioni matematiche in forma chiusa è importante chiarire questo aspetto.

Da +1 a @ConjugatePrior, voglio solo evidenziare un punto implicito nella sua risposta. La domanda si pone: "Se stiamo ricampionando dal nostro campione, come possiamo imparare qualcosa sulla popolazione piuttosto che solo sul campione?" Il ricampionamento non viene effettuato per fornire una stima della distribuzione della popolazione: prendiamo il nostro campione stesso come modello della popolazione. Piuttosto, il ricampionamento viene effettuato per fornire una stima della distribuzione campionaria della statistica campione in questione.

Questa è probabilmente una spiegazione più tecnica rivolta a persone che comprendono statistiche e matematica (almeno il calcolo). Ecco una slide di un corso sui bootstrap del sondaggio che ho insegnato qualche tempo fa:

$T$$E[X]=\int x {\rm d}F$$F_n()$${\rm d}F$$F()$$T$$\theta$$F_n()$$T$$\hat\theta_n$$\theta$$\hat\theta_n$$\theta$

Se potessimo ripetere la nostra procedura di campionamento, potremmo ottenere quella distribuzione e saperne di più. Bene, questo di solito va oltre le nostre capacità. Tuttavia, se

1. $F_n$$F$
2. $T$$F()$$\theta$

$F_n()$$F()$$n^n$$n\le 5$$\hat\theta_n^*$$\hat\theta_n$$\hat\theta_n$$\theta$

$\hat\theta_n^*$$\hat\theta_n$

$T$$F_n$$F$$\hat\theta_n^*$$\hat \theta_n$$\hat\theta_n$$\theta$$F$

$n^n$$\hat\theta_n$$\theta$$\hat\theta_n^{(*r)}$$\hat\theta_n^*$$\hat\theta_n$

Sto rispondendo a questa domanda perché sono d'accordo che questa è una cosa difficile da fare e ci sono molti malintesi. Efron e Diaconis tentarono di farlo nel loro articolo di Scientific American del 1983 e, a mio avviso, fallirono. Esistono diversi libri ora dedicati al bootstrap che fanno un buon lavoro. Efron e Tibshirani fanno un ottimo lavoro nel loro articolo in Statistical Science del 1986. Ho cercato in particolare di rendere accessibile bootstrap al praticante nel mio libro sui metodi bootstrap e la mia introduzione a bootstrap con applicazioni al libro di R. Hall è grandiosa ma molto avanzata e teorica . Tim Hesterberg ha scritto un grande capitolo supplementare a uno dei libri introduttivi sulle statistiche di David Moore. Il defunto Clifford Lunneborg aveva un bel libro. Chihara e Hesterberg hanno recentemente pubblicato un libro di statistiche matematiche di livello intermedio che tratta il bootstrap e altri metodi di ricampionamento. Perfino libri avanzati come Lahiri o Shao e Tu danno buone spiegazioni concettuali. Manly fa bene con il suo libro che copre le permutazioni e il bootstrap Non c'è più motivo di essere perplesso sul bootstrap. È importante tenere presente che il bootstrap dipende dal principio bootstrap "Il campionamento con sostituzione si comporta sul campione originale come si comporta il campione originale su una popolazione. Vi sono esempi in cui questo principio fallisce. È importante sapere che il bootstrap non è la risposta ad ogni problema statistico. s danno buone spiegazioni concettuali. Manly fa bene con il suo libro che copre le permutazioni e il bootstrap Non c'è più motivo di essere perplesso sul bootstrap. È importante tenere presente che il bootstrap dipende dal principio bootstrap "Il campionamento con sostituzione si comporta sul campione originale come si comporta il campione originale su una popolazione. Vi sono esempi in cui questo principio fallisce. È importante sapere che il bootstrap non è la risposta ad ogni problema statistico. s danno buone spiegazioni concettuali. Manly fa bene con il suo libro che copre le permutazioni e il bootstrap Non c'è più motivo di essere perplesso sul bootstrap. È importante tenere presente che il bootstrap dipende dal principio bootstrap "Il campionamento con sostituzione si comporta sul campione originale come si comporta il campione originale su una popolazione. Vi sono esempi in cui questo principio fallisce. È importante sapere che il bootstrap non è la risposta ad ogni problema statistico. Il campionamento con sostituzione si comporta sul campione originale come si comporta il campione originale su una popolazione. Ci sono esempi in cui questo principio fallisce. È importante sapere che il bootstrap non è la risposta ad ogni problema statistico. Il campionamento con sostituzione si comporta sul campione originale come si comporta il campione originale su una popolazione. Ci sono esempi in cui questo principio fallisce. È importante sapere che il bootstrap non è la risposta ad ogni problema statistico.

Ecco i link di Amazon a tutti i libri che ho citato e altro ancora.

Statistica matematica con ricampionamento e R

Metodi Bootstrap e loro applicazione

Metodi Bootstrap: una guida per professionisti e ricercatori

Un'introduzione ai metodi Bootstrap con applicazioni a R

Metodi di ricampionamento per dati dipendenti

Metodi di randomizzazione, bootstrap e Monte Carlo in biologia

Un'introduzione al bootstrap

The Practice of Business Statistics Companion Capitolo 18: Metodi Bootstrap e test di permutazione

Analisi dei dati mediante ricampionamento: concetti e applicazioni

Jackknife, Bootstrap e altri piani di ricampionamento

The Jackknife and Bootstrap

Test di ipotesi, parametrici e bootstrap di ipotesi

L'espansione Bootstrap e Edgeworth

Tramite il bootstrap, stai semplicemente prelevando campioni più e più volte dallo stesso gruppo di dati (i tuoi dati di esempio) per stimare l'accuratezza delle tue stime sull'intera popolazione (ciò che è realmente là fuori nel mondo reale).

Se dovessi prelevare un campione e fare stime sulla popolazione reale, potresti non essere in grado di stimare l'accuratezza delle tue stime: abbiamo solo una stima e non abbiamo identificato il modo in cui tale stima varia con i diversi campioni che potremmo aver incontrato.

Con il bootstrap, utilizziamo questo esempio principale per generare più campioni. Ad esempio, se misurassimo il profitto ogni giorno per oltre 1000 giorni, potremmo prelevare campioni casuali da questo set. Potremmo trarre profitto da un giorno casuale, registrarlo, ottenere il profitto da un altro giorno casuale (che potrebbe accadere lo stesso giorno di prima - campionamento con sostituzione), registrarlo e così via, fino a quando non otteniamo un "nuovo" campione di 1000 giorni (dal campione originale).

Questo "nuovo" campione non è identico al campione originale - in effetti potremmo generare diversi "nuovi" campioni come sopra. Quando osserviamo le variazioni nelle medie e nella stima, siamo in grado di ottenere una lettura su quanto accurate fossero le stime originali.

Modifica - in risposta al commento

I campioni "più recenti" non sono identici al primo e le nuove stime basate su questi varieranno. Questo simula ripetuti campioni della popolazione. Le variazioni nelle stime dei campioni "più recenti" generati dal bootstrap faranno luce su come le stime dei campioni potrebbero variare in base a campioni diversi dalla popolazione. È in questo modo infatti che possiamo provare a misurare l'accuratezza delle stime originali.

Ovviamente, invece di avviare il bootstrap, potresti invece prendere diversi nuovi campioni dalla popolazione, ma questo potrebbe non essere fattibile.

Mi rendo conto che questa è una vecchia domanda con una risposta accettata, ma mi piacerebbe fornire la mia visione del metodo bootstrap. Non sono in alcun modo un esperto (più di un utente di statistiche, come OP) e accolgo con favore eventuali correzioni o commenti.

$S_i$$T(S_i)$

Puoi considerare invece tutti i sottoinsiemi della dimensione 98 e ottenere JK-2 (2 elementi eliminati) o JK-3 ecc.

Ora, bootstrap è solo una versione casuale di questo. Effettuando il ricampionamento tramite selezione con sostituzioni, si "eliminano" un numero casuale di elementi (possibilmente nessuno) e si "sostituiscono" con uno (o più) replicati.

Sostituendo con repliche il set di dati ricampionato ha sempre le stesse dimensioni. Per il jackknife potresti chiedere quale sia l'effetto del jackknifing su campioni di dimensione 99 anziché 100, ma se la dimensione del campione è "sufficientemente grande" è probabilmente un problema.

In jackknife non mescoli mai delete-1 e delete-2 ecc., Per assicurarti che le stime jacked provengano da campioni della stessa dimensione.

Puoi anche considerare di dividere il campione di dimensione 100 in ad esempio 10 campioni di dimensione 10. Questo in alcuni aspetti teorici sarebbe più pulito (sottoinsiemi indipendenti) ma ridurrebbe la dimensione del campione (da 100 a 10) tanto da essere poco pratico (nella maggior parte casi).

È inoltre possibile considerare sottoinsiemi parzialmente sovrapposti di determinate dimensioni. Tutto questo è gestito in modo automatico, uniforme e casuale dal metodo bootstrap.

Inoltre, il metodo bootstrap fornisce una stima della distribuzione campionaria della statistica dalla distribuzione empirica del campione originale, in modo da poter analizzare ulteriori proprietà della statistica oltre all'errore standard.

Parafrasando Fox , vorrei iniziare dicendo che il processo di ricampionamento ripetuto dal campione osservato ha dimostrato di imitare il processo del campionamento originale da tutta la popolazione.

Un campionamento finito della popolazione approssima la distribuzione nello stesso modo in cui un istogramma la approssima. Ricampionando, ogni numero di bin viene modificato e si ottiene una nuova approssimazione. Valori di conteggio elevati oscillano meno dei valori di conteggio piccoli sia nella popolazione originale che nel set campionato. Dato che lo stai spiegando a un non addetto ai lavori, puoi sostenere che per i conteggi di grandi quantità questa è all'incirca la radice quadrata del conteggio dei contenitori in entrambi i casi.

$20$$80$$100$$\sqrt{(0.2 \times 0.8) \times 100}$$1:4$

Penso che sia importante sottolineare che il bootstrap non scopre dati "nuovi", è solo un modo conveniente e non parametrico per determinare approssimativamente il campione per campionare le fluttuazioni se la vera probabilità è data da quella campionata.

Si noti che nelle classiche statistiche inferenziali l'entità teorica che collega un campione alla popolazione come un buon stimatore della popolazione è la distribuzione campionaria (tutti i possibili campioni che potrebbero essere estratti dalla popolazione). Il metodo bootstrap sta creando una sorta di distribuzione campionaria (una distribuzione basata su più campioni). Certo, è un metodo di massima verosimiglianza, ma la logica di base non è così diversa da quella della teoria della probabilità tradizionale dietro le classiche statistiche basate sulla distribuzione normale.

Il mio punto è molto piccolo.

Bootstrap funziona perché sfrutta intensamente computazionalmente la premessa principale del nostro programma di ricerca.

Per essere più specifici, in statistica o biologia, o nella maggior parte delle scienze non teoriche, studiamo gli individui, raccogliendo così campioni.

Eppure, da tali campioni, vogliamo fare inferenze su altri individui, presentandoci in futuro o in diversi campioni.

Con bootstrap, fondando esplicitamente la nostra modellazione sui singoli componenti del nostro campione, possiamo meglio (con meno ipotesi, di solito) dedurre e prevedere per altri individui.

Quando spiego ai principianti, penso che sia utile fare un esempio specifico ...

Immagina di avere un campione casuale di 9 misurazioni da una popolazione. La media del campione è 60. Possiamo essere sicuri che anche la media dell'intera popolazione sia 60? Ovviamente non perché i piccoli campioni varieranno, quindi è probabile che la stima di 60 sia imprecisa. Per scoprire quanti campioni di questo tipo possono variare, possiamo eseguire alcuni esperimenti, usando un metodo chiamato bootstrap.

Il primo numero nel campione è 74 e il secondo è 65, quindi immaginiamo una grande popolazione "finta" che comprende un nono 74, un nono 65 e così via. Il modo più semplice per prelevare un campione casuale da questa popolazione è quello di prendere un numero a caso dal campione di nove, quindi sostituirlo in modo da avere di nuovo il campione originale di nove e sceglierne un altro a caso, e così via fino a quando non si ha un "ricampionamento" di 9. Quando l'ho fatto, 74 non è apparso affatto, ma alcuni degli altri numeri sono comparsi due volte e la media era 54,4. (Questo è impostato sul foglio di calcolo in http://woodm.myweb.port.ac.uk/SL/resample.xlsx - fai clic sulla scheda Bootstrap nella parte inferiore dello schermo.)

Quando ho preso 1000 campioni in questo modo i loro mezzi variavano da 44 a 80, con il 95% tra 48 e 72. Il che suggerisce che c'è un errore fino a 16-20 unità (44 è 16 al di sotto della media della finta popolazione di 60, 80 è 20 unità sopra) nell'uso di campioni di dimensione 9 per stimare la media della popolazione. e che possiamo essere sicuri al 95% che l'errore sarà 12 o meno. Quindi possiamo essere sicuri al 95% che la media della popolazione sarà compresa tra 48 e 72.

Ci sono un certo numero di ipotesi qui chiarite, quella ovvia è l'assunto che il campione fornisca un quadro utile della popolazione - l'esperienza mostra che questo generalmente funziona bene a condizione che il campione sia ragionevolmente grande (9 è un po 'piccolo ma rende più facile vedere cosa sta succedendo). Il foglio di calcolo su http://woodm.myweb.port.ac.uk/SL/resample.xlsx ti consente di vedere singoli campioni, tracciare istogrammi di 1000 campioni, sperimentare campioni più grandi, ecc. C'è una spiegazione più dettagliata nell'articolo all'indirizzo https://arxiv.org/abs/1803.06214 .