Stima della probabilità in un processo di Bernoulli campionando fino a 10 fallimenti: è di parte?


15

Supponiamo di avere un processo di Bernoulli con probabilità di fallimento (che sarà piccola, diciamo, q 0,01 ) da cui campioniamo fino a quando non incontriamo 10 guasti. Stimiamo così la probabilità di fallimento come q : = 10 / N , dove N è il numero di campioni.qq0.0110q^:=10/NN

Domanda : E ' q una stima di parte di q ? E, in tal caso, esiste un modo per correggerlo?q^q

Sono preoccupato dal fatto che insistere sull'ultimo campione sia una mancata distorsione della stima.


5
Le risposte attuali si limitano a fornire lo stimatore imparziale varianza minima . Vedi la sezione di campionamento e stima dei punti dell'articolo di Wikipedia sulla distribuzione binomiale negativa . (101)/(N1)
A. Webb

Risposte:


10

E 'vero che q è una stima distorta del q nel senso che E ( q ) q , ma si dovrebbe non necessariamente lasciare che questo ti scoraggiare. Questo esatto scenario può essere usato come critica contro l'idea che dovremmo sempre usare stimatori imparziali, perché qui la distorsione è più un artefatto del particolare esperimento che stiamo facendo. I dati sembrano esattamente come se avessimo scelto in anticipo il numero di campioni, quindi perché le nostre inferenze dovrebbero cambiare?q^qE(q^)q

È interessante notare che, se si dovessero raccogliere dati in questo modo e quindi annotare la funzione di probabilità in entrambi i modelli binomiale (dimensione del campione fissa) e binomiale negativo, si scoprirà che i due sono proporzionali tra loro. Ciò significa che q è solo la stima di massima verosimiglianza ordinaria sotto il modello binomiale negativo, che naturalmente è una valutazione perfettamente ragionevole.q^


Grande! Sembra che (per i miei scopi) questo pregiudizio non sia un problema.
becky

9

Non sta insistendo sul fatto che l'ultimo campione sia un fallimento che distorca la stima, sta prendendo il reciproco di N

Quindi nel tuo esempio ma E[10E[N10]=1q. Questo è vicino al confronto tra la media aritmetica e la media armonicaE[10N]q

La cattiva notizia è che la distorsione può aumentare man mano che si riduce, sebbene non di molto quando q è già piccolo. La buona notizia è che il pregiudizio diminuisce all'aumentare del numero richiesto di guasti. Sembra che se si richiedono errori f , allora il bias è limitato da un fattore moltiplicativo di fqqf perqpiccolo; non vuoi questo approccio quando ti fermi dopo il primo fallimento ff1q

Fermandosi dopo guasti, con q = 0,01 otterrai E [ N10q=0.01ma E[10E[N10]=100, mentre conq=0,001otterraiE[E[10N]0.011097q=0.001E[N10]=1000E[10N]0.001111109


7

A complemento della risposta di dsaxton, ecco alcune simulazioni in R che mostrano la distribuzione campionaria di q^ quando K=10 e q0=0.02:

n_replications <- 10000
k <- 10
failure_prob <- 0.02
n_trials <- k + rnbinom(n_replications, size=k, prob=failure_prob)
all(n_trials >= k)  # Sanity check, cannot have 10 failures in < 10 trials

estimated_failure_probability <- k / n_trials
histogram_breaks <- seq(0, max(estimated_failure_probability) + 0.001, 0.001)
## png("estimated_failure_probability.png")
hist(estimated_failure_probability, breaks=histogram_breaks)
abline(v=failure_prob, col="red", lty=2, lwd=2)  # True failure probability in red
## dev.off()

mean(estimated_failure_probability)  # Around 0.022
sd(estimated_failure_probability)
t.test(x=estimated_failure_probability, mu=failure_prob)  # Interval around [0.0220, 0.0223]

Sembra E[q^]0,022, che è un pregiudizio piuttosto piccolo rispetto alla variabilità in q^.

histogram of q_hat


1
Questo è davvero utile. A quel livello, non vale la pena che mi preoccupi.
becky

2
Puoi scrivere questa simulazione in modo più conciso come10+rnbinom(10000,10,0.02)
A. Webb

@ A. Webb grazie, è un buon punto. Stavo davvero reinventando la ruota. Ho bisogno di leggere? Rnbinom e poi modificherò il mio post
Adrian

1
Quello sarebbe 10/(10+rnbinom(10000,10,0.02)). La parametrizzazione è in termini di numero di successi / insuccessi piuttosto che di numero totale di prove, quindi dovrai aggiungere k = 10 indietro. Si noti che lo stimatore imparziale sarebbe 9/(9+rnbinom(10000,10,0.02)), uno in meno in numeratore e denominatore.
A. Webb
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.