Rapporto di probabilità vs rapporto di PDF

Sto usando Bayes per risolvere un problema di clustering. Dopo aver fatto alcuni calcoli, finisco con la necessità di ottenere il rapporto tra due probabilità:

P (A) / P (B)

$P(A)/P(B)$

per essere in grado di ottenere $P(H|D)$ . Queste probabilità sono ottenute dall'integrazione di due diversi KDE multivariati 2D come spiegato in questa risposta :

P (A) = \iint_{x, y : \hat{f} (x, y) < \hat{f} (r_{a}, s_{a})} \hat{f} (x, y) d x d y

$P(A) = \iint_{x, y : \hat{f}(x, y) < \hat{f}(r_a, s_a)} \hat{f}(x,y)\,dx\,dy$

P (B) = \iint_{x, y : \hat{g} (x, y) < \hat{g} (r_{b}, s_{b})} \hat{g} (x, y) d x d y

$P(B) = \iint_{x, y : \hat{g}(x, y) < \hat{g}(r_b, s_b)} \hat{g}(x,y)\,dx\,dy$

dove $\hat{f}(x, y)$ e $\hat{g}(x, y)$ sono i KDE e l'integrazione viene eseguita per tutti i punti al di sotto delle soglie $\hat{f}(r_a, s_a)$ e $\hat{g}(r_b, s_b)$ . Entrambi i KDE usano un kernel gaussiano . Un'immagine rappresentativa di un KDE simile a quelli con cui sto lavorando può essere vista qui: Integrazione dello stimatore di densità del kernel in 2D .

Calcolo i KDE mediante una pythonfunzione stats.gaussian_kde , quindi presumo il seguente modulo generale per esso:

K D E (x, y) = \frac{1}{n} \sum_{i = 1}^{n} - \frac{1}{2 h^{2}} e^{- \frac{(x - x_{i})^{2} + (y - y_{i})^{2}}{2 h^{2}}}

$KDE(x,y) = \frac{1}{n} \sum_{i=1}^{n} -\frac{1}{2h^2} e^{-\frac{(x-x_i)^2 + (y-y_i)^2}{2h^2}}$

dov'è nla lunghezza della mia serie di punti ed hè la larghezza di banda utilizzata.

Gli integrali sopra sono calcolati applicando un processo Monte Carlo che è piuttosto costoso dal punto di vista computazionale. Ho letto da qualche parte (ho dimenticato dove, scusate) che in casi come questo è possibile sostituire il rapporto delle probabilità con il rapporto dei PDF (KDE) valutati ai punti di soglia per ottenere risultati altrettanto validi. Sono interessato a questo perché calcolare il rapporto di KDE è ordini di grandezza più veloci del calcolo del rapporto degli integrali con MC.

Quindi la domanda si riduce alla validità di questa espressione:

\frac{P (A)}{P (B)} = \frac{\hat{f} (r_{a}, s_{a})}{\hat{g} (r_{b}, s_{b})}

$\frac{P(A)}{P(B)} = \frac{\hat{f}(r_a, s_a)}{\hat{g}(r_b, s_b)}$

In quali circostanze, se ce ne sono, posso dire che questa relazione è vera?

[errore di battitura fisso (EDIT)]

Aggiungi :

Questa è sostanzialmente la stessa domanda, ma fatta in una forma più matematica .

— Gabriel
fonte

Si noti che l'esistenza del appropriato è assicurata dal teorema a valore medio per gli integrali.

r_{a, b}, s_{a, b}

$r_{a,b}, s_{a,b}$

— Dave,

Credo che il Mills Ratio possa essere rilevante.

— whuber

@whuber quel rapporto apparentemente richiede che io conosca il valore di P(X)ciò che sto cercando di evitare di calcolare. Potresti espandere un po 'la pertinenza di quel parametro?

— Gabriel,

KDE è una miscela di distribuzioni normali. Diamo un'occhiata a uno solo di essi.

Le definizioni di e mostrano che i loro valori sono invarianti rispetto alle traduzioni e ai riscalamenti nel piano, quindi è sufficiente considerare la distribuzione normale standard con PDF . La disuguaglianza $P(A)$ $P(B)$ $f$

f (x, y) \leq f (r, s)

$f(x,y) \le f(r,s)$

è equivalente a

x^{2} + y^{2} \geq r^{2} + s^{2} .

$x^2 + y^2 \ge r^2 + s^2.$

L'introduzione delle coordinate polari consente di riscrivere l'integrale $\rho, \theta$

P (r, s) = \frac{1}{2 π} \int_{0}^{2 π} \int_{\sqrt{r^{2} + s^{2}}}^{\infty} ρ \exp (- ρ^{2} / 2) d ρ d θ = \exp (- (r^{2} + s^{2}) / 2) = 2 π f (r, s) .

$P(r,s) = \frac{1}{2\pi}\int_0^{2\pi}\int_\sqrt{r^2+s^2}^\infty \rho \exp(-\rho^2/2) d\rho d\theta= \exp(-(r^2+s^2)/2) = 2\pi f(r,s).$

Ora considera la miscela. Perché è lineare,

\begin{aligned} P (r, s) & = \frac{1}{n} \sum_{i} 2 π f ((r - x_{i}) / h, (s - y_{i}) / h) \\ = 2 π h^{2} (\frac{1}{n} \sum_{i} \frac{1}{h^{2}} f ((r - x_{i}) / h, (s - y_{i}) / h)) \\ = 2 π h^{2} K D E (r, s) . \end{aligned}

$\eqalign{ P(r,s) &= \frac{1}{n}\sum_i 2\pi f((r-x_i)/h, (s-y_i)/h) \\ &= 2\pi h^2\left(\frac{1}{n}\sum_i \frac{1}{h^2} f((r-x_i)/h, (s-y_i)/h)\right) \\ &=2\pi h^2 KDE(r,s). }$

In effetti, e sono proporzionali. La costante di proporzionalità è . $f$ $P$ $2\pi h^2$

Che una relazione di proporzionalità tra e sia speciale $P$ $f$ può essere apprezzata contemplando un semplice controesempio. Lascia che abbia una distribuzione uniforme su un set misurabile dell'area dell'unità e abbia una distribuzione uniforme su un set misurabile che è disgiunto da e ha area . Quindi la miscela con PDF ha valore costante su , su ed è zero altrove. Vi sono tre casi da considerare: $f_1$ $A_1$ $f_2$ $A_2$ $A_1$ $\mu\gt 1$ $f=f_1/2 + f_2/2$ $1/2$ $A_1$ $1/(2\mu)$ $A_2$

$(r,s)\in A_1$ . Qui raggiunge il suo massimo, da cui . Il rapporto . $f(r,s)=1/2$ $P(r,s)=1$ $f(r,s)/P(r,s) = 1/2$
$(r,s)\in A_2$ . Qui è strettamente inferiore a ma maggiore di . Pertanto la regione di integrazione è il complemento di e l'integrale risultante deve essere uguale a . Il rapporto . $f(r,s)$ $1/2$ $0$ $A_1$ $1/2$ $f(r,s)/P(r,s) = (1/(2\mu))/(1/2) = 1/\mu$
Altrove, è zero e integrale è zero. $f$ $P$

Evidentemente il rapporto (dove è definito) non è costante e varia tra e . Sebbene questa distribuzione non sia continua, può essere effettuata aggiungendo una distribuzione normale ad essa. Riducendo entrambi gli autovalori di , questo cambierà la distribuzione molto poco e produrrà qualitativamente gli stessi risultati - solo ora i valori del rapporto includeranno tutti i numeri nell'intervallo . $1$ $1/\mu \ne 1$ $(0,\Sigma)$ $\Sigma$ $f/P$ $[1,1/\mu]$

Anche questo risultato non si generalizza ad altre dimensioni. In sostanza lo stesso calcolo che ha dato il via a questa risposta mostra che è una funzione Gamma incompleta e che chiaramente non è la stessa di . Che due dimensioni siano speciali si può notare osservando che l'integrazione in riguarda essenzialmente le distanze e quando queste sono normalmente distribuite, la funzione di distanza ha una distribuzione - che è la distribuzione esponenziale. La funzione esponenziale è unica in essendo proporzionale al proprio derivato - dove l'integrando ed integrale devono essere proporzionali. $P$ $f$ $P$ $\chi^2(2)$ $f$ $P$

— whuber
fonte

Questa è una risposta incredibilmente veloce, grazie mille. Mi ci vorrà un po 'per elaborare completamente tutto ciò che hai scritto qui, ma mi fido completamente dei tuoi calcoli, il che significa che ho contrassegnato la domanda come risolta. Saluti.

— Gabriel,