Intervallo di confidenza per il campionamento di Bernoulli

Ho un campione casuale di variabili casuali di Bernoulli , dove sono iidrv e , e è un parametro sconosciuto. $X_1 ... X_N$ $X_i$ $P(X_i = 1) = p$ $p$

Ovviamente, si può trovare una stima per : . $p$ $\hat{p}:=(X_1+\dots+X_N)/N$

La mia domanda è: come posso creare un intervallo di confidenza per ? $p$

confidence-interval binomial bernoulli-distribution

— ameba dice Reinstate Monica
fonte

La Wikipedia ha dettagli su come calcolare gli intervalli di confidenza per il campionamento di bernoulli .

Risposte:

Se la media, , non è vicina a o e la dimensione del campione è sufficientemente grande (ovvero e , la sicurezza l'intervallo può essere stimato mediante una distribuzione normale e l'intervallo di confidenza costruito così: $\hat{p}$ $1$ $0$ $n$ $n\hat{p}>5$ $n(1-\hat{p})>5$

$\hat{p} \pm z_{1 - α / 2} \sqrt{\frac{\hat{p} (1 - \hat{p})}{n}}$ $\hat{p}\pm z_{1-\alpha/2}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$
Se e , l' intervallo di confidenza al è approssimativamente (Javanovic e Levy, 1997) ; l'opposto vale per . Il riferimento discute anche dell'uso di e (i successivi per incorporare informazioni precedenti). $\hat{p} = 0$ $n>30$ $95\%$ $[0,\frac{3}{n}]$ $\hat{p}=1$ $n+1$ $n+b$
Altrimenti Wikipedia fornisce una buona panoramica e indica Agresti e Couli (1998) e Ross (2003) per dettagli sull'uso di stime diverse dall'approssimazione normale, il punteggio Wilson, Clopper-Pearson o intervalli Agresti-Coull. Questi possono essere più precisi quando non vengono soddisfatte le assunzioni di cui sopra su e . $n$ $\hat{p}$

R fornisce funzioni binconf {Hmisc}e binom.confint {binom}che può essere utilizzato nel modo seguente:

set.seed(0)
p <- runif(1,0,1)
X <- sample(c(0,1), size = 100, replace = TRUE, prob = c(1-p, p))
library(Hmisc)
binconf(sum(X), length(X), alpha = 0.05, method = 'all')
library(binom)
binom.confint(sum(X), length(X), conf.level = 0.95, method = 'all')

Agresti, Alan; Coull, Brent A. (1998). "L'approssimato è meglio di 'esatto' per la stima dell'intervallo delle proporzioni binomiali". The American Statistician 52: 119–126.

Jovanovic, BD e PS Levy, 1997. Uno sguardo alla regola dei tre. The American Statistician Vol. 51, n. 2, pagg. 137-139

Ross, TD (2003). "Intervalli di confidenza accurati per la proporzione binomiale e la stima del tasso di Poisson". Computer in biologia e medicina 33: 509–531.

— David LeBauer
fonte

(+1) Bella risposta. Questo diventerà un riferimento per domande simili in futuro, penso. Tuttavia, il cross-posting è insolito; in effetti, credo che sia disapprovato, perché rovina molti aspetti del sistema di feedback / referencing / threading / commenting. Prendi in considerazione la possibilità di rimuovere una delle copie e di sostituirla con un link in un commento.

— whuber

@whuber grazie per il feedback. Ho rimosso l'altra copia.

— David LeBauer,

Nella prima formula, cosa sono z1 e alpha?

— Cirdec,

Ho trovato la risposta alla mia domanda: è il percentile della distribuzione normale standard e è il percentile di errore. en.wikipedia.org/wiki/Binomial_proportion_confidence_interval

z_{1 - α / 2}

$z_{1-\alpha/2}$

1 - α / 2

${1-\alpha/2}$

α

$\alpha$

— Cirdec

Dovrebbe essere sull'intervallo di confidenza per il secondo punto elenco?

3 / n

$3/n$

— Juan A. Navarro,

Intervalli di confidenza della massima verosimiglianza

L'approssimazione normale al campione di Bernoulli si basa sull'avere una dimensione del campione relativamente grande e proporzioni del campione lontane dalle code. La stima della massima verosimiglianza si concentra sulle probabilità trasformate nel log e questo fornisce intervalli non simmetrici ed efficienti per che dovrebbe essere usato invece. $p$

Definisci le probabilità del registro come $\hat{\beta}_0 = \log(\hat{p}/(1-\hat{p}))$

Un 1- per è dato da: $\alpha$ $\beta_0$

CI (β_{0})_{α} = {\hat{β}}_{0} \pm Z_{α / 2} \sqrt{1 / (n \hat{p} (1 - \hat{p})}

$\text{CI}(\beta_0)_\alpha = \hat{\beta}_0 \pm \mathcal{Z}_{\alpha/2} \sqrt{1/(n\hat{p}(1-\hat{p})}$

E questo viene di nuovo trasformato in un intervallo (non simmetrico) per con: $p$

CI (p)_{α} = 1 / (1 + \exp (- CI (β_{0})_{α})

$\text{CI}(p)_\alpha = 1/(1+\exp(-\text{CI}(\beta_0)_\alpha)$

Questo CI ha il vantaggio aggiuntivo che le proporzioni si trovano nell'intervallo tra 0 o 1 e che l'IC è sempre più stretto dell'intervallo normale pur essendo del livello corretto. Puoi ottenerlo facilmente in R specificando:

set.seed(123)
y <- rbinom(100, 1, 0.35)
plogis(confint(glm(y ~ 1, family=binomial)))

    2.5 %    97.5 % 
0.2795322 0.4670450

Intervalli di confidenza binomiali esatti

Nei piccoli campioni, l'approssimazione normale all'MLE - sebbene migliore dell'approssimazione normale alla proporzione del campione - potrebbe non essere affidabile. Va bene. può essere preso per seguire una densità binomiale . I limiti per possono essere trovati prendendo il 2,5 ° e il 97,5 ° percentile da questa distribuzione. $Y = n\hat{p}$ $(n,p)$ $\hat{p}$

{CI}_{α} = (F_{\hat{p}}^{- 1} (0.025), F_{\hat{p}}^{- 1} (0.975))

$\text{CI}_\alpha = (F^{-1}_{\hat{p}}(0.025), F^{-1}_{\hat{p}}(0.975))$

Raramente possibile a mano, un esatto intervallo di confidenza binomiale può essere ottenuto per usando metodi computazionali. $p$

qbinom(p = c(0.025, 0.975), size = length(y), prob = mean(y))/length(y)
[1] 0.28 0.47

Intervalli di confidenza imparziali imparziali

E se è esattamente 0 o 1, uno stimatore imparziale mediano può essere usato per ottenere stime di intervallo non singolari basate sulla funzione di probabilità imparziale mediana. Puoi banalmente prendere il limite inferiore del caso all-0 come 0 WLOG. Il limite superiore è qualsiasi proporzione che soddisfa: $p$ $p_{1-\alpha/2}$

p_{1 - α / 2} : P (Y = 0) / 2 + P (Y > y) > 0.975

$p_{1-\alpha/2} : P(Y = 0)/2 + P(Y > y) > 0.975$

Questa è anche una routine computazionale.

set.seed(12345)
y <- rbinom(100, 1, 0.01) ## all 0
cil <- 0
mupfun <- function(p) {
  0.5*dbinom(0, 100, p) + 
    pbinom(1, 100, p, lower.tail = F) - 
    0.975
} ## for y=0 successes out of n=100 trials
ciu <- uniroot(mupfun, c(0, 1))$root
c(cil, ciu)

[1] 0.00000000 0.05357998 ## includes the 0.01 actual probability

Gli ultimi due metodi sono implementati nel epitoolspacchetto in R.

— ADAMO
fonte