Come distribuire in modo ottimale i disegni quando si calcolano più aspettative

Supponiamo di voler calcolare alcune aspettative:

E_{Y} E_{X | Y} [f (X, Y)]

$E_YE_{X|Y}[f(X,Y)]$

Supponiamo di voler approssimare questo usando la simulazione Monte Carlo.

E_{Y} E_{X | Y} [f (X, Y)] \approx \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x^{r, s}, y^{r})

$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$

Ma supponiamo che è costoso per prelevare dei campioni da entrambe le distribuzioni, in modo che abbiamo solo permetterci di disegnare un numero fisso . $K$

Come dovremmo allocare ? Gli esempi includono pareggi per ogni distribuzione, o all'estremo, un pareggio in esterno e disegna in interno, viceversa ecc ..... $K$ $K/2$ $K-1$

La mia intuizione mi dice che avrà a che fare con la varianza / entropia delle distribuzioni l'una rispetto all'altra. Supponiamo che quello esterno è un punto di massa, allora la divisione di che minimizza l'errore MC sarebbe disegnare 1 della e disegnare del . $K$ $Y$ $K-1$ $X|Y$

Spero che sia stato chiaro.

— wolfsatthedoor
fonte

Risolto il problema per te

— Wolfsatthedoor,

Il "viceversa" e il tuo commento alla risposta di @ Xi'ans sembrano indicare che consideri possibile disegnare la variabile esterna più volte della variabile interna, ma come potrebbe avere senso - non sono tutti esterni per cui gli interiori vengono sprecati?

0

$0$

— Juho Kokkala,

Abbastanza giusto, almeno un pareggio per esterno immagino. Oppure potresti pensare di programmarlo per salvare il sorteggio suppongo

— wolfsatthedoor

@robertevansanders Conferma se l'interpretazione della tua domanda nelle prime due frasi della risposta di Xi'an è corretta

— Juho Kokkala,

Come hai detto, sì, ma cambia y e x

— wolfsatthedoor il

Questa è una domanda molto interessante con poca documentazione nella letteratura di Monte Carlo, tranne in relazione alla stratificazione e alla Rao-Blackwellisation . Ciò è probabilmente dovuto al fatto che i calcoli della varianza condizionale attesa e della varianza dell'aspettativa condizionale sono raramente fattibili.

Innanzitutto, supponiamo che tu esegua simulazioni da , e per ogni simulato , esegui simulazioni da , . La vostra stima Monte Carlo è quindi La la varianza di questa stima è scomposta come segue $R$ $\pi_X$ $x_1,\ldots,x_R$ $x_r$ $S$ $\pi_{Y|X=x_r}$ $y_{1r},\ldots,y_{sr}$

δ (R, S) = \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x_{r}, y_{r s})

$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$

\begin{aligned} var {δ (R, S)} & = \frac{1}{R^{2} S^{2}} R var {\sum_{s = 1}^{S} f (x_{r}, y_{r s})} \\ = \frac{1}{R S^{2}} {var}_{X} E_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} + \frac{1}{R S^{2}} E_{X} {var}_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} \\ = \frac{1}{R S^{2}} {var}_{X} {S E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S^{2}} E_{X} [S {var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ = \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ \overset{K = R S}{=} \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{K} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \end{aligned}

$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$ Pertanto, se si desidera ridurre al minimo questa varianza, la scelta ottimale è

R = K

$R=K$ . Implica che . Tranne quando il termine della prima varianza è nullo, nel qual caso non ha importanza. Tuttavia, come discusso nei commenti, l'ipotesi non è realistica in quanto non tiene conto della produzione di un [o presuppone che ciò gratuitamente].

S = 1

$S=1$

K = R S

$K=RS$

x_{r}

$x_r$

Ora supponiamo diversi costi di simulazione e il vincolo di bilancio , il che significa che il 's costo volte di più per simulare quello ' s. La suddetta decomposizione della varianza è quindi che può essere ridotto a icona in come [il numero intero più vicino sotto i vincoli e ], tranne quando la prima varianza è uguale a zero, nel qual caso $R+aRS=b$ $y_{rs}$ $a$ $x_r$

\frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R (b - R) / a R} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}]

$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$

R

$R$

R^{*} = b / 1 + {a E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}} / {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]}}^{1 / 2}

$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$

R \geq 1

$R\ge 1$

S \geq 1

$S\ge 1$

R = 1

$R=1$ . Quando , la varianza minima corrisponde a una massima , che porta a nell'attuale formalismo.

E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] = 0

$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$

R

$R$

S = 1

$S=1$

Si noti inoltre che questa soluzione deve essere confrontata con la soluzione simmetrica quando l'integrale interno è in dato e l'integrale esterno è contro la marginale (assumendo che le simulazioni sono possibili anche in questo ordine). $X$ $Y$ $Y$

Un'interessante estensione della domanda sarebbe quella di considerare un diverso numero di simulazioni per ogni simulato , a seconda del valore . $S(x_r)$ $x_r$ $\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$

— Xi'an
fonte

Nella conclusione finale, sembra che tu stia assumendo ma nell'impostazione della domanda poiché si presume che vengano conteggiati anche i disegni della variabile esterna. Il risultato qui dice che se il campionamento della variabile esterna fosse libero, ovviamente si dovrebbe campionare un nuovo esterno per ogni interno. (Inoltre, il ruolo di ed sono commutati qui rispetto alla domanda, ma che ovviamente non importa).

K = R S

$K=RS$

K = R S + R

$K=RS+R$

x

$x$

y

$y$

— Juho Kokkala,

Sì, ma possiamo decidere il valore di ... Considera l'impostazione degenerata in cui la var esterna è costante. È meglio campionare la costante una volta e volte, piuttosto che la costante volte e volte (che è ciò che implicherebbe)? O sto completamente fraintendendo la domanda? (Ho letto solo ora la seconda frase del tuo commento - non è il presupposto dichiarato nella domanda che hanno lo stesso costo)

R

$R$

X

$X$

Y

$Y$

K - 1

$K-1$

K / 2

$K/2$

Y

$Y$

K / 2

$K/2$

S = 1

$S=1$

— Juho Kokkala,

@ Xi'an sì Calcutta è corretta, la tua soluzione non può generalmente essere valida. Supponiamo ora che la variabile interna abbia una distribuzione degenerata e che l'esterno abbia una varianza significativa, quindi vorresti campionare il minor numero possibile di disegni interni

— wolfsatthedoor

Penso che la tua risposta non possa essere giusta. Supponiamo che la distribuzione interna sia degenerata e che l'esterno presenti una grande varianza, come può essere S 1

— wolfsatthedoor

@robertevansanders: se la distribuzione interna è degenerata, , quindi e selezioniamo il numero intero più vicino sotto i vincoli e , che significa prendere per rendere più vicino possibile a .

{var}_{Y | X} {f (x_{r}, Y) | x_{r}} = 0

$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}=0$

R^{*} = b

$R^*=b$

R

$R$

S \geq 1

$S\ge 1$

R (1 + a S) \leq b

$R(1+aS)\le b$

S = 1

$S=1$

R

$R$

b

$b$

— Xi'an,