Interpretazione del derivato Radon-Nikodym tra misure di probabilità?

Ho visto in alcuni punti l'uso del derivato Radon-Nikodym di una misura di probabilità rispetto a un'altra, in particolare nella divergenza di Kullback-Leibler, dove è la derivata della misura di probabilità di un modello per un parametro arbitrario rispetto al parametro reale : $\theta$ $\theta_0$

\frac{d P_{θ}}{d P_{θ_{0}}}

$\frac {dP_\theta}{dP_{\theta_0}}$

Dove si tratta di entrambe le misure di probabilità sullo spazio dei punti dati in base a un valore di parametro: . $P_\theta(D)=P(D|\theta)$

Qual è l'interpretazione di un tale derivato Radon-Nikodym nella divergenza di Kullback-Leibler, o più in generale tra due misure di probabilità?

— user56834
fonte

In primo luogo, non abbiamo bisogno di misure di probabilità, solo -finiteness. Quindi cerchiamo sia uno spazio misurabile e lasciare e essere misure -finite su . $\sigma$ $\mathcal M = (\Omega, \mathscr F)$ $\mu$ $\nu$ $\sigma$ $\mathcal M$

Il teorema di Radon-Nikodym afferma che se per tutto , indicato con , quindi esiste una funzione di Borel non negativa tale che $\mu(A) = 0 \implies \nu(A) = 0$ $A \in \mathscr F$ $\mu \gg \nu$ $f$ per tutti .

ν (A) = \int_{A} f d μ

$\nu(A) = \int_A f \,\text d\mu$

A \in F

$A \in \mathscr F$

Ecco come mi piace pensare a questo. Innanzitutto, per ogni due misure su , definiamo per significare $\mathcal M$ $\mu \sim \nu$ . Questa è una relazione di equivalenza valida e diciamo che e sonoequivalentiin questo caso. Perché questa è una ragionevole equivalenza per le misure? Le misure sono solo funzioni ma i loro domini sono difficili da visualizzare. Che dire se due funzioni ordinarie hanno questa proprietà, cioè $\mu(A) = 0 \iff \nu(A) = 0$ $\mu$ $\nu$ $f, g :\mathbb R \to \mathbb R$ ? Bene, definisci e nota che ovunque sul supporto di abbiamo , e al di fuori del supporto di (poiché $f(x) = 0 \iff g(x) = 0$

h (x) = {\begin{cases} f (x) / g (x) & g (x) \neq 0 \\ π^{e} & o.w. \end{cases}

$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$

g

$g$

g h = f

$gh = f$

g

$g$

g h = 0 \cdot π^{e} = 0 = f

$gh = 0 \cdot \pi^e = 0 = f$

f

$f$ e

supporti azione) in modo

ci fa rescale

. Come sottolinea @whuber, l'idea chiave qui non è che sia in qualche modo "sicuro" da fare o da ignorare, ma piuttosto quando non importa che cosa fa , quindi possiamo semplicemente definirlo arbitrariamente (come essere che non ha alcun significato speciale qui) e le cose funzionano ancora. Anche in questo caso possiamo definire la funzione analoga con modo che .

g

$g$

h

$h$

g

$g$

f

$f$

0 / 0

$0/0$

g = 0

$g = 0$

h

$h$

π^{e}

$\pi^e$

h^{'}

$h'$

g / f

$g / f$

f h^{'} = g

$fh' = g$

Quindi supponiamo che , ma l'altra direzione non necessariamente regge. Ciò significa che la nostra precedente definizione di funziona ancora, ma ora non funziona poiché avrà divisioni effettive per . Quindi possiamo ridimensionare in tramite , ma non possiamo andare nella direzione opposta perché dovremmo ridimensionare qualcosa in qualcosa diverso da zero. $g(x) = 0 \implies f(x) = 0$ $h$ $h'$ $0$ $g$ $f$ $gh = f$ $0$

Ora torniamo a e e denotiamo il nostro RND con . Se , ciò significa intuitivamente che uno può essere riscalato nell'altro, e viceversa. Ma in generale vogliamo solo andare in una direzione con questo (cioè ridimensionare una buona misura come la misura di Lebesgue in una misura più astratta), quindi abbiamo solo bisogno di per fare cose utili. Questo riscalaggio è il cuore dell'RND. $\mu$ $\nu$ $f$ $\mu \sim \nu$ $\mu \gg \nu$

Tornando al punto di @ whuber nei commenti, v'è una sottigliezza in più per il motivo per cui è sicuro di ignorare la questione di . Questo perché con le misure definiamo le cose solo fino a insiemi di misure quindi su qualsiasi insieme con possiamo semplicemente fare in modo che il nostro RND prenda qualsiasi valore, diciamo . Quindi non è che è intrinsecamente sicuro, ma piuttosto da nessuna parte che avremmo è un insieme di misura WRT in modo che possiamo solo definire il nostro RND essere qualcosa lì bello senza alterare nulla. $0/0$ $0$ $A$ $\mu(A) = 0$ $1$ $0/0$ $0/0$ $0$ $\mu$

Ad esempio, supponiamo che per alcuni . Quindi $k \cdot \mu = \nu$ $k > 0$ quindi abbiamo che

ν (A) = \int_{A} d ν = \int_{A} k d μ

$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$

è l'RND (ciò può essere giustificato in modo più formale dal teorema della modifica delle misure). Questo è positivo perché abbiamo recuperato esattamente il fattore di ridimensionamento.

f (x) = k = \frac{d ν}{d μ}

$f(x) = k = \frac{\text d\nu}{\text d\mu}$

Ecco un secondo esempio per sottolineare come il cambiamento di RND su insiemi di misura non li influenza. Sia , cioè è il PDF normale standard più se l'input è razionale, e sia un camper con questa densità. Questo significa $0$ $f(x) = \varphi(x) + 1_{\mathbb Q}(x)$ $1$ $X$

P (X \in A) = \int_{A} (φ + 1_{Q}) d λ

$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$

quindi in realtà

è ancora un camper gaussiano standard. Non ha influito in alcun modo sulla distribuzione per modificare

perché è un insieme di misure

wrt

= \int_{A} φ d λ + λ (Q) = \int_{A} φ d λ

$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$

X

$X$

X

$X$

Q

$\mathbb Q$

0

$0$

λ

$\lambda$

$X \sim \text{Pois}(\eta)$ $Y \sim \text{Bin}(n, p)$ $P_X$ $P_Y$ $c$ $c$ $c(A) = 0 \iff A = \emptyset$

\frac{d P_{Y}}{d P_{X}} = \frac{d P_{Y} / d c}{d P_{X} / d c} = \frac{f_{Y}}{f_{X}}

$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$

P_{Y} (A) = \int_{A} d P_{Y}

$P_Y(A) = \int_A \,\text dP_Y$

= \int_{A} \frac{d P_{Y}}{d P_{X}} d P_{X} = \int_{A} \frac{d P_{Y}}{d P_{X}} \frac{d P_{X}}{d c} d c

$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$

= \sum_{y \in A} \frac{d P_{Y}}{d P_{X}} (y) \frac{d P_{X}}{d c} (y) = \sum_{y \in A} \frac{f_{Y} (y)}{f_{X} (y)} f_{X} (y) = \sum_{y \in A} f_{Y} (y) .

$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$

$P(X = n) > 0$ $n$ $Y$

$P \ll Q$ $\mu$ $\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$

— JLD
fonte

0 / 0

$0/0$

0 / 0

$0/0$

@whuber grazie mille per il commento, che aiuta davvero. Ho provato ad aggiornare per risolvere questo problema

— jld