Che cos'è il campionamento per importanza?

Sto cercando di imparare l'apprendimento per rinforzo e questo argomento mi confonde davvero. Ho preso un'introduzione alle statistiche, ma non riuscivo a capire questo argomento in modo intuitivo.

Il campionamento dell'importanza è una forma di campionamento da una distribuzione diversa dalla distribuzione degli interessi in modo da ottenere più facilmente stime migliori di un parametro dalla distribuzione degli interessi. In genere, ciò fornirà stime del parametro con una varianza inferiore rispetto a quella che si otterrebbe campionando direttamente dalla distribuzione originale con le stesse dimensioni del campione.

È applicato in vari contesti. In generale, il campionamento dalla diversa distribuzione consente di prelevare più campioni in una porzione della distribuzione di interesse dettata dall'applicazione (regione importante).

Un esempio potrebbe essere quello di voler avere un campione che includa più campioni dalle code della distribuzione di quanti ne fornirebbe un puro campionamento casuale dalla distribuzione degli interessi.

L' articolo di Wikipedia che ho visto su questo argomento è troppo astratto. È meglio guardare vari esempi specifici. Tuttavia include collegamenti ad applicazioni interessanti come le reti bayesiane.

Un esempio di campionamento di importanza negli anni '40 e '50 è una tecnica di riduzione della varianza (una forma del metodo Monte Carlo). Vedi ad esempio il libro Monte Carlo Methods di Hammersley e Handscomb pubblicato come Monografia / Chapman and Hall di Methuen nel 1964 e ristampato nel 1966 e successivamente da altri editori. La sezione 5.4 del libro tratta il campionamento dell'importanza.

Il campionamento dell'importanza è una simulazione o metodo Monte Carlo inteso per l'approssimazione di integrali. Il termine "campionamento" è alquanto confuso in quanto non intende fornire campioni da una determinata distribuzione.

L'intuizione alla base del campionamento per importanza è che un integrale ben definito, come può essere espresso come aspettativa per una vasta gamma di distribuzioni di probabilità: I = E f [ H ( X ) ] = ∫ X H ( x ) f ( x

$$\mathfrak{I}=\int_\mathfrak{X} h(x)\,\text{d}x$$ dove f indica la densità di una distribuzione di probabilità e H è determinata da h e f . (Nota che H ( ⋅ ) è generalmente diverso da h ( ⋅ ) .)In effetti, la scelta H ( x ) = h ( x $$\mathfrak{I}=\mathbb{E}_f[H(X)]=\int_\mathfrak{X} H(x)f(x)\,\text{d}x$$ $f$$H$$h$$f$$H(\cdot)$$h(\cdot)$ porta alle uguaglianzeH(x)f(x)=h(x)eI=Ef[H(X)]-sotto alcune restrizioni sul supporto dif, che significaf(x)>0quandoh(x)≠0 $$H(x)=\dfrac{h(x)}{f(x)}$$ $H(x)f(x)=h(x)$$\mathfrak{I}=\mathbb{E}_f[H(X)]$$-$$f$$f(x)>0$$h(x)\ne 0$$-$. Quindi, come sottolineato da W. Huber nel suo commento, non c'è unicità nella rappresentazione di un integrale come aspettativa, ma al contrario una serie infinita di tali rappresentazioni, alcune delle quali sono migliori di altre una volta un criterio da confrontare loro è adottato. Ad esempio, Michael Chernick menziona la scelta di per ridurre la varianza dello stimatore.$f$

Una volta compresa questa proprietà elementare, l'implementazione dell'idea è quella di fare affidamento sulla Legge dei Grandi Numeri come in altri metodi Monte Carlo, vale a dire simulare [tramite un generatore pseudo-casuale] un campione iid distribuiti da f e usare il ravvicinamento I = $(x_1,\ldots,x_n)$$f$quale

$$\hat{\mathfrak{I}}=\frac{1}{n} \sum_{i=1}^n H(x_i)$$

1. è uno stimatore imparziale di $\mathfrak{I}$
2. converge quasi sicuramente a $\mathfrak{I}$

A seconda della scelta della distribuzione , sopra stimatore che può o non può avere una varianza finita. Tuttavia, esistono sempre scelte di f che consentono una varianza finita e persino una varianza arbitrariamente piccola (sebbene tali scelte possano non essere disponibili nella pratica). E esistono anche scelte di f che rendono il campionamento importanza stimatore ho un pessimo ravvicinamento delle io . Ciò include tutte le scelte in cui la varianza diventa infinita, anche se un recente articolo di Chatterjee e Diaconis studia come confrontare i campionatori di importanza con la varianza infinita. L'immagine qui sotto è presa da$f$$\hat{\mathfrak{I}}$$f$$f$$\hat{\mathfrak{I}}$${\mathfrak{I}}$il mio blog la discussione della carta e illustra la scarsa convergenza di stimatori di varianza infinite.

Campionamento dell'importanza con distribuzione di importanza una distribuzione target di distribuzione Exp (1) una distribuzione Exp (1/10) e funzione di interesse . Il vero valore dell'integrale è 10 .$h(x)=x$$10$

[Quanto segue è riprodotto dal nostro libro Metodi statistici Monte Carlo .]

$f$

$$\int_\mathfrak{X} h(x) f(x)\,\text{d}x$$

$p$${\mathcal{C}}(0,1)$$2$

$$p = \int_2^{+\infty} \; {1\over \pi(1 + x^2)} \; \text{d}x \;.$$ $p$ $${\hat{p}}_1 = {1\over m} \; \sum_{j=1}^m \; \mathbb{I}_{X_{j} > 2}$$ $X_1,\ldots,X_m$ $\sim$ $\; \mathcal{C}(0,1)$$p(1-p)/m$$0.127/m$$p=0.15$

${\mathcal{C}}(0,1)$

$${\hat{p}}_2 = {1\over 2m} \; \sum_{j=1}^m \; \mathbb{I}_{|X_{j}| > 2}$$ $p(1-2p)/2m$$0.052/m$

$[2,+\infty)$$p$$p$

$$p = {1\over 2} - \int_0^2 \; {1\over \pi(1 + x^2)} \; \text{d}x \;,$$ $h(X) = 2/\pi(1 + X^2)$, where $X \sim {\mathcal{U}}_{[0, 2]}$. An alternative method of evaluation for $p$ is therefore $${\hat{p}}_3 = {1\over 2} - {1\over m} \; \sum_{j=1}^m \; h(U_j)$$ for $U_j \sim {\mathcal{U}}_{[0,2]}$. The variance of ${\hat{p}}_3$ is $(\mathbb{E}[h^2] - \mathbb{E}[h]^2)/m$ and an integration by parts shows that it is equal to $0.0285/m$. Moreover, since $p$ can be written as $$p = \int_0^{1/2} \; {y^{-2}\over \pi(1 + y^{-2})} \; \text{d}y \;,$$ this integral can also be seen as the expectation of ${1\over 4} \; h(Y) = 1/2\pi(1 + Y^2)$ against the uniform distribution on $[0,1/2]$ and another evaluation of $p$ is $${\hat{p}}_4 = {1\over 4 m} \; \sum_{j=1}^m \; h(Y_j)$$ when $Y_j \sim {\mathcal{U}}_{[0,1/2]}$. The same integration by parts shows that the variance of ${\hat{p}}_{4}$ is then $0.95 \; 10^{-4}/m$.

Compared with ${\hat{p}}_1$, the reduction in variance brought by ${\hat p}_4$ is of order $10^{-3}$, which implies, in particular, that this evaluation requires $\sqrt{1000} \approx 32$ times fewer simulations than $\hat p_1$ to achieve the same precision. $\blacktriangleright$