Come generare un numero non intero di successi Bernoulli consecutivi?

Dato:

1. Una moneta con pregiudizio sconosciuto (Testa).$p$
2. Un reale strettamente positivo .$a > 0$

Problema:

Genera una variabile Bernoulli casuale con bias .$p^{a}$

Qualcuno sa come fare questo? Ad esempio, quando è un numero intero positivo, allora si può lanciare la moneta volta e vedere se tutti i risultati sono stati Head: se poi emettono '0', altrimenti '1'. La difficoltà sta nel fatto che non è necessariamente un numero intero. Inoltre, se conoscessi il pregiudizio , potrei semplicemente costruire un'altra moneta con il pregiudizio desiderato. a a $a$$a$$a$$p$

Possiamo risolverlo tramite un paio di "trucchi" e un po 'di matematica.

Ecco l'algoritmo di base:

1. Generare una variabile casuale geometrica con probabilità di successo .$p$
2. Il risultato di questa variabile casuale determina un valore noto fisso .$f_n \in [0,1]$
3. Genera una variabile casuale usando lanci di monete equi generati da lanci accoppiati in senso antiorario della nostra moneta .B e r ( p $\mathrm{Ber}(f_n)$$\mathrm{Ber}(p)$
4. Il risultato risultante sarà per qualsiasi , che è tutto ciò di cui abbiamo bisogno.a ∈ ( 0 , 1 $\mathrm{Ber}(p^a)$$a \in (0,1)$

Per rendere le cose più digeribili, le suddivideremo in pezzi.

Pezzo 1 : Senza perdita di generalità supponiamo che .$0 < a < 1$

Se , quindi, possiamo scrivere per un numero intero positivo e un po ' . Ma, per ogni due Bernoulli indipendenti, abbiamo Possiamo generare un Bernoulli dalla nostra moneta nel modo ovvio. Quindi, dobbiamo preoccuparci solo di generare il quando .p a = p n p b n 0 ≤ b < 1 P ( X 1 = X 2 = 1 ) = p 1 p $a \geq 1$$p^a = p^n p^b$$n$$0 \leq b < 1$p n B e r ( p a ) a ∈ ( 0 , 1

$$\renewcommand{\Pr}{\mathbb P} \Pr(X_1 = X_2 = 1) = p_1 p_2 \>.$$ $p^n$$\mathrm{Ber}(p^a)$$a \in (0,1)$

Pezzo 2 : Sapere come generare un arbitrario da lanci di monete onesti.$\mathrm{Ber}(q)$

C'è un modo standard per farlo. Espandi nella sua espansione binaria e quindi usa i nostri monete equi per "abbinare" le cifre di . La prima corrispondenza determina se dichiariamo un successo ("teste") o un fallimento ("code"). Se e il nostro lancio della moneta è testa, dichiara teste, se e il nostro lancio della moneta è croce, dichiara la coda. Altrimenti, considera la cifra successiva rispetto a un nuovo lancio di una moneta.q q n = 1 q n = $q = 0.q_1 q_2 q_3 \ldots$$q$$q_n = 1$$q_n = 0$

Pezzo 3 : sapere come generare un lancio della moneta corretto da quelli ingiusti con pregiudizio sconosciuto.

Questo viene fatto, assumendo , lanciando la moneta in coppia. Se otteniamo , dichiariamo un testa; se otteniamo , dichiariamo una coda e altrimenti ripetiamo l'esperimento fino a quando si verifica uno dei due risultati sopra menzionati. Sono ugualmente probabili, quindi devono avere probabilità .H T T H 1 /$p \in (0,1)$$HT$$TH$$1/2$

Pezzo 4 : Alcuni di matematica. (Taylor in soccorso.)

Espandendo intorno a , il teorema di Taylor afferma che Si noti che poiché ogni termine dopo il primo è negativo, quindi abbiamo dove sono noti a priori . Quindi dove , ep 0 = 1 p a = 1 - a ( 1 - p ) - a ( 1 - a $h(p) = p^a$$p_0 = 1$0 < a < 1 p a = 1 - ∞ ∑ n = 1 b n ( 1 - p )

$$p^a = 1 - a(1-p) - \frac{a(1-a)}{2!} (1-p)^2 - \frac{a(1-a)(2-a)}{3!} (1-p)^3 \cdots \>.$$ $0 < a < 1$0 ≤ b n ≤ 1 1 - p a = ∞ ∑ n = 1 b n ( 1 - p ) n = ∞ ∑ n = 1 b n P ( G ≥ n ) = ∞ ∑ n = 1 f n P ( G = n ) = E f ( G ) , $$p^a = 1 - \sum_{n=1}^\infty b_n (1-p)^n \>,$$ $0 \leq b_n \leq 1$ $$1 - p^a = \sum_{n=1}^{\infty} b_n (1-p)^n = \sum_{n=1}^\infty b_n \Pr(G \geq n) = \sum_{n=1}^\infty f_n \Pr(G = n) = \mathbb E f(G),$$ f 0 = 0 f n = ∑ n k = 1 b k n ≥ $G \sim \mathrm{Geom}(p)$$f_0 = 0$$f_n = \sum_{k=1}^n b_k$per .$n \geq 1$

E sappiamo già come usare la nostra moneta per generare una variabile casuale geometrica con probabilità di successo .$p$

Pezzo 5 : un trucco di Monte Carlo.

Sia una variabile casuale discreta che assume valori in con . Lascia che . Quindi [ 0 , 1 ] P ( X = x n ) = p n U ∣ X ∼ B e r ( X ) P ( U = 1 ) = ∑ n x n p n$X$$[0,1]$$\Pr(X = x_n) = p_n$$U \mid X \sim \mathrm{Ber}(X)$

$$\Pr(U = 1) = \sum_n x_n p_n.$$

Ma, prendendo e , vediamo ora come generare una variabile casuale e questo equivale a generare un uno.x n = f n B e r ( 1 - p a ) B e r ( p $p_n = p(1-p)^n$$x_n = f_n$$\mathrm{Ber}(1-p^a)$$\mathrm{Ber}(p^a)$

La seguente risposta è sciocca?

Se sono indipendenti e ha distribuzione , allora sarà approssimativamente distribuito come , quando .B e r ( p ) Y n B e r ( ( ∑ n i = 1 X i / n ) a ) Y n B e r ( p a ) n → $X_1,\dots,X_n$$\mathrm{Ber}(p)$$Y_n$$\mathrm{Ber}\left(\left(\sum_{i=1}^n X_i/n \right)^a\right)$$Y_n$$\mathrm{Ber}(p^a)$$n\to\infty$

Quindi, se non conosci , ma puoi lanciare questa moneta molte volte, è possibile campionare (approssimativamente) da una variabile casuale .B e r ( p a$p$$\mathrm{Ber}(p^a)$

RCodice di esempio :

n <- 1000000
p <- 1/3 # works for any 0 <= p <= 1
a <- 4
x <- rbinom(n, 1, p)
y <- rbinom(n, 1, mean(x)^a)
cat("p^a =", p^a, "\n")
cat("est =", mean(y))

risultati:

p^a = 0.01234568 
est = 0.012291 

Ho pubblicato la seguente esposizione di questa domanda e la risposta del cardinale al forum di discussione generale dell'attuale classe di analisi combinatoria su Coursera, "Applicazione di serie di potenze alla costruzione di una variabile casuale". Sto pubblicando una copia qui come wiki della community per renderlo disponibile pubblicamente e in modo permanente.

---

C'era un'interessante domanda e risposta su stat.stackexchange.com relativa alle serie di potenze: "Come generare una quantità non intera di successi consecutivi di Bernoulli?" Parafraserò la domanda e la risposta del cardinale.

Supponiamo di avere una moneta forse ingiusta che è la testa con probabilità e un numero reale positivo α . Come possiamo costruire un evento la cui probabilità è p α ?$p$$\alpha$$p^\alpha$

Se fosse un numero intero positivo, potremmo semplicemente lanciare la moneta α volte e lasciare che l'evento fosse che tutti i lanci erano diretti. Tuttavia, se α non è un intero, dire 1 / 2 , allora questo non ha senso, ma si può usare questa idea per ridurre al caso che 0 < α < 1 . Se vogliamo costruire un evento la cui probabilità è p 3.5 , prendiamo l'intersezione di eventi indipendenti le cui probabilità sono p 3 e p 0,5 .$\alpha$$\alpha$$\alpha$$1/2$$0 \lt \alpha \lt 1$$p^{3.5}$$p^3$$p^{0.5}$

Una cosa che possiamo fare è costruire un evento con qualsiasi probabilità nota . Per fare questo, possiamo costruire un flusso di bit equi ripetutamente lanciando moneta due volte, leggendo H T come 1 e T H come 0 , e ignorando H H e T T . Confrontiamo questo flusso con l'espansione binaria di p ′ = 0. a 1 a 2 a 3 . . . $p' \in [0,1]$$HT$$1$$TH$$0$$HH$$TT$$p' = 0.a_1a_2a_3..._2$. L'evento in cui il primo disaccordo è dove ha probabilità p ′ . Non conosciamo p α , quindi non possiamo usarlo direttamente, ma sarà uno strumento utile.$a_i=1$$p'$$p^\alpha$

L'idea principale è che vorremmo usare la serie di potenze per dovep=1-q. Possiamo costruire eventi le cui probabilità sonoqnlanciando la monetanvolte e vedendo se sono tutte code, e possiamo produrre un evento con probabilitàp′qnconfrontando le cifre binarie dip′con un flusso di bit discreto come sopra e controllando senlanci sono tutti code.$p^\alpha = (1-q)^\alpha = 1 - \alpha q - \frac{\alpha(1-\alpha)}{2} q^2 - \frac{\alpha (1-\alpha)(2-\alpha)}{3!}q^3 -...$$p=1-q$$q^n$$n$$p' q^n$$p'$$n$

Costruire una variabile casuale geometrica con il parametro p . Questo è il numero di code prima della prima testa in una sequenza infinita di lanci di monete. P ( G = n ) = ( 1 - p ) n p = q n p . (Alcune persone usano una definizione che differisce di 1 ).$G$$p$$P(G=n) = (1-p)^np = q^n p$$1$

Data una sequenza , Possiamo produrre t G : Flip la moneta fino alla prima testa, e se ci sono G code prima della prima testa, prendere l'elemento della sequenza dell'indice G . Se ciascuno t n ∈ [ 0 , 1 ] , possiamo confrontare t G con una variabile casuale uniforme in [ 0 , 1 ] (costruita come sopra) per ottenere un evento con probabilità E [ $t_0, t_1, t_2, ...$$t_G$$G$$G$$t_n \in [0,1]$$t_G$$[0,1]$ .$E[t_G] = \sum_n t_n P(G=n) = \sum_n t_n q^n p$

Questo è quasi ciò di cui abbiamo bisogno. Vorremmo eliminare quella per usare la serie di potenze per p α in q .$p$$p^\alpha$$q$

$$1 = p + qp + q^2p + q^3p + ...$$

$$q^n = q^np + q^{n+1}p + q^{n+2}p + ...$$

$$\begin{eqnarray} \sum_n s_n q^n & = & \sum_n s_n (q^n p + q^{n+1}p + q^{n+2}p + ...) \newline & = & \sum_n (s_0 + s_1 + ... + s_n) q^n p \end{eqnarray}$$

Considera . Siatnla somma dei coefficienti daqaqn. Quindi1-pα=∑ntnqnp. Ciascunotn∈[0,1]poiché i coefficienti sono positivi e si sommano a1-0α=1, quindi possiamo costruire un evento con probabilità1-p$1-p^\alpha = \alpha q + \frac{\alpha(1-\alpha)}{2} q^2 + ...$$t_n$$q$$q^n$$1-p^\alpha = \sum_n t_n q^n p$$t_n\in [0,1]$$1-0^\alpha = 1$$1-p^\alpha$confrontando un flusso di punta giusta con l'espansione binaria di . Il complemento ha probabilità p α come richiesto.$t_G$$p^\alpha$

---

Ancora una volta, l'argomento è dovuto al cardinale.

La risposta molto completa del cardinale e dei successivi contributi ha ispirato la seguente osservazione / variante.

$q:=1-p$$X_n$$q$$M_n := \max(X_1,\,X_2,\,\dots, X_n)$$q^n$$n$$N \geq 1$$M_N$

$$\mathrm{Pr}\{M_N =0\} = \sum_{n=1}^\infty \mathrm{Pr}\{M_N =0 \,\vert\, N =n\} \mathrm{Pr}\{N =n\} = \sum_{n=1}^\infty \mathrm{Pr}\{N =n\} \, q^n.$$ $0 < a < 1$$\mathrm{Pr}\{N =n\} =b_n$$\mathrm{Pr}\{M_N =0\} = 1- p^a$$1-M_N$$\mathrm{Ber}(p^a)$$b_n$$b_n \geqslant 0$$1$

$N$$a$$0 < a < 1$

$$\mathrm{Pr}\{N =n\} = \frac{a}{n}\,\prod_{k=1}^{n-1}\left(1 - a/k\right) \qquad (n \geq 1).$$ $n \,b_n \sim c/n^a$$c = -1/\Gamma(-a) >0$

$M_N$$N$$X_k$$\leq N$$X_k$$1$$X_k$