Bootstrap di parte: va bene centrare l'IC attorno alla statistica osservata?

Questo è simile a Bootstrap: la stima non rientra nell'intervallo di confidenza

Ho alcuni dati che rappresentano i conteggi dei genotipi in una popolazione. Voglio stimare la diversità genetica usando l'indice di Shannon e anche generare un intervallo di confidenza usando il bootstrap. Ho notato, tuttavia, che la stima tramite bootstrap tende ad essere estremamente distorta e si traduce in un intervallo di confidenza al di fuori della mia statistica osservata.

Di seguito è riportato un esempio.

# Shannon's index
H <- function(x){
  x <- x/sum(x)
  x <- -x * log(x, exp(1))
  return(sum(x, na.rm = TRUE))
}
# The version for bootstrapping
H.boot <- function(x, i){
  H(tabulate(x[i]))
}

Generazione dei dati

set.seed(5000)
X <- rmultinom(1, 100, prob = rep(1, 50))[, 1]

Calcolo

H(X)

## [1] 3.67948

xi <- rep(1:length(X), X)
H.boot(xi)

## [1] 3.67948

library("boot")
types <- c("norm", "perc", "basic")
(boot.out <- boot::boot(xi, statistic = H.boot, R = 1000L))

## 
## CASE RESAMPLING BOOTSTRAP FOR CENSORED DATA
## 
## 
## Call:
## boot::boot(data = xi, statistic = H.boot, R = 1000)
## 
## 
## Bootstrap Statistics :
##     original     bias    std. error
## t1*  3.67948 -0.2456241  0.06363903

Generazione degli elementi della configurazione con correzione del bias

boot.ci(boot.out, type = types)

## BOOTSTRAP CONFIDENCE INTERVAL CALCULATIONS
## Based on 1000 bootstrap replicates
## 
## CALL : 
## boot.ci(boot.out = boot.out, type = types)
## 
## Intervals : 
## Level      Normal              Basic              Percentile     
## 95%   ( 3.800,  4.050 )   ( 3.810,  4.051 )   ( 3.308,  3.549 )  
## Calculations and Intervals on Original Scale

Supponendo che la varianza di t possa essere utilizzata per la varianza di t0 .

norm.ci(t0 = boot.out$t0, var.t0 = var(boot.out$t[, 1]))[-1]

## [1] 3.55475 3.80421

Sarebbe corretto segnalare l'IC centrato su t0 ? C'è un modo migliore per generare il bootstrap?

$$\theta(\mathbf{p}) = - \sum_{i = 1}^{50} p_i \log p_i,$$ $\mathbf{p} \in \mathbb{R}^{50}$$n$$n = 100$ $$\hat{\theta}_n = \theta(\hat{\mathbf{p}}_n) = - \sum_{i=1}^{50} \hat{p}_{n,i} \log \hat{p}_{n,i}.$$ $\log(50) = 3.912.$$\mathrm{bias}(\hat{\theta}_{100}) \simeq -0.28$$\mathrm{bias}(\hat{\theta}_{500}) \simeq -0.05$$\Delta$$\mathbf{p}$$\mathbf{p}$

$\theta(\mathbf{p}_n^*)$$\mathbf{p}_n^*$$n$$\hat{\mathbf{p}}_n$$\theta(\mathbf{p}_n^*)$$\theta(\mathbf{p}_n^*)$$\theta(\hat{\mathbf{p}}_n)$, il che comporta che l'intervallo percentile è completamente errato.

Per l'intervallo di base (e normale), i ruoli dei quantili sono scambiati. Ciò implica che l'intervallo sembra essere ragionevole (copre 3.912), sebbene gli intervalli che si estendono oltre 3.912 non siano logicamente significativi. Inoltre, non so se l'intervallo di base avrà la copertura corretta. La sua giustificazione si basa sulla seguente identità distributiva approssimativa:

$$\theta(\mathbf{p}_n^*) - \theta(\hat{\mathbf{p}}_n) \overset{\mathcal{D}}{\simeq} \theta(\hat{\mathbf{p}}_n) - \theta(\mathbf{p}),$$ $n$$n = 100$

$\theta(\hat{\mathbf{p}}_n) \pm 1.96\hat{\mathrm{se}}_n$

$\theta(\mathbf{p})$$\mathbf{p}$$\theta(\mathbf{p})$

Come sottolinea la risposta di @NRH, il problema non è che il bootstrap abbia dato un risultato parziale. È che la semplice stima "plug-in" dell'entropia di Shannon, basata sui dati di un campione, è distorta al ribasso dal vero valore della popolazione.

Questo problema è stato riconosciuto negli anni '50, a pochi anni dalla definizione di questo indice. Questo documento discute le questioni di fondo, con riferimenti alla letteratura associata.

$\hat{p}_{n,i}$$p_{n,i}$

$$\hat{\theta}_n = \theta(\hat{\mathbf{p}}_n) = - \sum_{i=1}^{M} \hat{p}_{n,i} \log \hat{p}_{n,i}.$$

la relazione non lineare significa che il valore risultante è una sottovalutazione parziale della vera diversità genetica.

$M$$N$$(M -1)/2N$

Ci sono pacchetti in R che affrontano questo problema. Il simbootpacchetto in particolare ha una funzione estShannonfche apporta queste correzioni di polarizzazione e una funzione sbdivper il calcolo degli intervalli di confidenza. Sarà meglio usare tali strumenti open source affermati per la tua analisi piuttosto che provare a ricominciare da zero.