Distribuzione di probabilità speciale

Se è una distribuzione di probabilità con valori diversi da zero su , per quale tipo di esiste una costante tale che per tutti ? $p(x)$ $[0,+\infty)$ $p(x)$ $c\gt 0$ $\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2$ $0\lt\epsilon\lt 1$

La disuguaglianza sopra è in realtà una divergenza di Kullback-Leibler tra la distribuzione e una versione compressa di essa . Ho scoperto che questa disuguaglianza vale per le distribuzioni esponenziali, gamma e weibull e sono interessato a sapere se funziona per una classe più ampia di distribuzioni di probabilità. $p(x)$ ${(1+\epsilon)}p({x}{(1+\epsilon)})$

Qualche idea su cosa significhi questa disuguaglianza?

— Sus20200
fonte

Poiché è positivo, sarebbe compresso (nella direzione x) anziché allungato.

ϵ

$\epsilon$

— Glen_b

Questa domanda è ambigua: quali sono i tuoi quantificatori? Vuoi che questa disuguaglianza valga per tutti , almeno uno o qualcos'altro? viene dato a priori o vuoi dire che dovrebbe esistere almeno uno di questi valori di ? E poiché menzioni le classi di distribuzioni di probabilità, per " " intendi una distribuzione specifica o forse intendi una loro famiglia parametrica?

ϵ

$\epsilon$

ϵ

$\epsilon$

c

$c$

c

$c$

p (x)

$p(x)$

— whuber

@whuber Grazie per i tuoi commenti. Ho apportato correzioni alla mia dichiarazione del problema per chiarire le questioni menzionate. Voglio dire, per quale vale la disuguaglianza di cui sopra? La risposta potrebbe essere o introdurre una famiglia parametrica di distribuzioni o proporre un'equazione differenziale per che è sufficiente e fornisce la disuguaglianza desiderata.

p (x)

$p(x)$

p (x)

$p(x)$

— Sus20200,

Questa disuguaglianza non funzionerebbe per qualsiasi p (x) che sia continuo e con un supporto infinito? Stai calcolando la divergenza di KL all'interno di una famiglia parametrica ( . Se KL è diffondibile a 0, allora la sua derivata è 0. Considerando come massimo della curvatura di KL (per ), abbiamo il limite. Con un lavoro aggiuntivo, potrebbe essere possibile legare C dalle proprietà di p

ϵ \to p (x (1 + ϵ))

$\epsilon \rightarrow p(x(1+\epsilon))$

C

$C$

ϵ \in [0, 1]

$\epsilon \in [0,1]$

— Guillaume Dehaene il

Può essere infinito purché . L'espansione del primo ordine del KL è

L = lim_{x \to 0} p (x) x = 0

$L = \lim_{x \rightarrow 0} p(x)x = 0$

L ϵ + O (ϵ^{2})

$L \epsilon + O(\epsilon^2)$

— Arthur B.

Preliminari

Scrivi

I_{p} (ϵ) = \int_{0}^{\infty} p (x) \log (\frac{p (x)}{(1 + ϵ) p (x (1 + ϵ))}) d x .

$\mathcal{I}_p(\epsilon) = \int_0^\infty p(x) \log\left(\frac{p(x)}{(1+\epsilon)p(x(1+\epsilon))}\right)\, dx.$

I logaritmi e la relazione tra e suggeriscono di esprimere sia che i suoi argomenti come esponenziali. A tal fine, definire $p(x)$ $p(x(1+\epsilon))$ $p$

q (y) = \log (p (e^{y}))

$q(y) = \log(p(e^y))$

per tutto reale per cui è definita la parte destra e uguale a ovunque . Si noti che il cambiamento delle variabili comporta e (prendendo come densità di una distribuzione) che la Legge della Probabilità Totale può quindi essere espressa come $y$ $-\infty$ $p(e^y)=0$ $x=e^y$ $dx=e^y dy$ $p$

\begin{matrix} (1) & 1 = \int_{0}^{\infty} p (x) d x = \int_{R} e^{q (y) + y} d y . \end{matrix}

$1 = \int_0^\infty p(x)dx = \int_\mathbb{R} e^{q(y)+y} dy.\tag{1}$

Supponiamo quando . $e^{q(y)+y}\to 0$ $y\to\pm\infty$ Questo esclude le distribuzioni di probabilità con infiniti picchi di densità vicino a o . In particolare, se le code di sono alla fine monotoniche, implica questo presupposto, dimostrando che non è grave. $p$ $0$ $\infty$ $p$ $(1)$

Per semplificare il lavoro con i logaritmi, osservare anche questo

1 + ϵ = e^{ϵ} + O (ϵ^{2}) .

$1+\epsilon = e^\epsilon + O(\epsilon^2).$

Poiché i seguenti calcoli verranno eseguiti fino a multipli di , definire $\epsilon^2$

δ = \log (1 + ϵ) .

$\delta = \log(1+\epsilon).$

Potremmo anche sostituire con , con corrispondente a e positivo corrispondente a positivo . $1+\epsilon$ $e^\delta$ $\delta=0$ $\epsilon=0$ $\delta$ $\epsilon$

Analisi

Un modo ovvio in cui la disuguaglianza può fallire sarebbe che l'integrale divergesse per alcuni . Ciò accadrebbe se, per esempio, ci fosse qualsiasi intervallo corretto di numeri positivi, non importa quanto piccolo, in cui fosse identicamente zero ma non fosse zero nell'intervallo . Ciò causerebbe l'integrando infinito con probabilità positiva. $\mathcal{I}_p(\epsilon)$ $\epsilon \in (0, 1]$ $[u, v]$ $p$ $p$ $[u-\epsilon, v-\epsilon]$

Poiché la domanda non è specifica in merito alla natura di , potremmo impantanarci in questioni tecniche riguardanti quanto potrebbe essere liscia la . Evitiamo tali problemi, sperando ancora di ottenere alcune intuizioni, supponendo che ovunque abbia tanti derivati che potremmo voler usare. (Due saranno sufficienti se è continuo.) Poiché tale garanzia rimane limitata su qualsiasi insieme limitato, implica che non è mai zero quando . $p$ $p$ $q$ $q^{\prime\prime}$ $q$ $p(x)$ $x \gt 0$

Nota che la domanda riguarda davvero il comportamento di mentre avvicina a zero dall'alto. Poiché questo integrale è una funzione continua di nell'intervallo , raggiunge un massimo quando è limitato a qualsiasi intervallo positivo , permettendoci di scegliere , perché ovviamente $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\epsilon$ $(0,1]$ $M_p(a)$ $\epsilon$ $[a,1]$ $c = M_p(a)/a^2$

c ϵ^{2} = M_{p} (a) {(\frac{ϵ}{a})}^{2} \geq M_{p} (a) \geq I_{p} (ϵ)

$c\epsilon^2 = M_p(a) \left(\frac{\epsilon}{a}\right)^2 \ge M_p(a) \ge \mathcal{I}_p(\epsilon)$

fa funzionare la disuguaglianza. Questo è il motivo per cui dobbiamo preoccuparci solo del calcolo modulo . $\epsilon^2$

Soluzione

Usando le modifiche della variabile da a , da a e da a , calcoliamo attraverso il secondo ordine in (o ) nella speranza di raggiungere una semplificazione. A tal fine definire $x$ $y$ $p$ $q$ $\epsilon$ $\delta$ $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\delta$

R (y, δ) δ^{2} = q (y + δ) - q (y) - δ q^{'} (y)

$\mathcal{R}(y, \delta) \delta^2 = q(y+\delta) - q(y) - \delta q^\prime(y)$

essere il resto dell'ordine nell'espansione di Taylor di intorno a . $2$ $q$ $y$

\begin{aligned} I_{p} (ϵ) & = \int_{R} e^{q (y) + y} (q (y) - q (y + δ) - δ) d y \\ = - \int_{R} e^{q (y) + y} (δ + δ q^{'} (y) + R (y, δ) δ^{2}) d y \\ = - δ \int_{R} e^{q (y) + y} (1 + q^{'} (y)) d y - δ^{2} \int_{R} e^{q (y) + y} R (y, δ) d y . \end{aligned}

$\eqalign{ \mathcal{I}_p(\epsilon) &= \int_\mathbb{R}e^{q(y) + y} \left(q(y) - q(y+\delta) - \delta\right)\, dy \\ &=-\int_\mathbb{R}e^{q(y) + y} \left(\delta + \delta q^\prime(y) + \mathcal{R}(y, \delta) \delta^2 \right)\, dy \\ &= -\delta\int_\mathbb{R}e^{q(y) + y} \left(1+q^\prime(y)\right)\, dy -\delta^2\int_\mathbb{R}e^{q(y) + y} \mathcal{R}(y, \delta)\, dy. }$

Modificando le variabili in nell'integrale della mano sinistra si vede che deve svanire, come osservato nell'ipotesi seguente . Cambiando le variabili in nell'integrale di destra si ottiene $q(y)+y$ $(1)$ $x=e^y$

I_{p} (ϵ) = - δ^{2} \int_{R} p (x) R (\log (x), δ) d y = - δ^{2} E_{p} (R (\log (x), δ)) .

$\mathcal{I}_p(\epsilon) = - \delta^2 \int_\mathbb{R} p(x) \mathcal{R}(\log(x), \delta)\, dy = -\delta^2 \mathbb{E}_p\left(\mathcal{R}(\log(x), \delta)\right).$

La disuguaglianza vale (sotto le nostre varie ipotesi tecniche) se e solo se il coefficiente di sul lato destro è finito. $\delta^2$

Interpretazione

Questo è un buon punto per fermarsi, perché sembra scoprire il problema essenziale: è delimitato da una funzione quadratica di proprio quando l'errore quadratico nell'espansione di Taylor di non lo fa esplodere (relativi alla distribuzione) come avvicina . $\mathcal{I}_p(\epsilon)$ $\epsilon$ $q$ $y$ $\pm\infty$

Controlliamo alcuni dei casi menzionati nella domanda: le distribuzioni esponenziali e gamma. (L'esponenziale è un caso speciale della gamma.) Non dobbiamo mai preoccuparci dei parametri di scala, perché cambiano semplicemente le unità di misura. Sono importanti solo i parametri non in scala.

Qui, perché per , L'espansione di Taylor attorno a una arbitraria èIl teorema di Taylor con Remainder implica che è dominato da per sufficientemente piccolo . Poiché l'aspettativa di è finita, la disuguaglianza vale per le distribuzioni gamma. $p(x) = x^k e^{-x}$ $k \gt -1$

q (y) = - e^{y} + k y - \log Γ (k + 1) .

$q(y) = -e^y + k y - \log\Gamma(k+1).$

y

$y$

Constant + (k - e^{y}) δ - \frac{e^{y}}{2} δ^{2} + \dots .

$\text{Constant} + (k-e^y)\delta - \frac{e^y}{2}\delta^2 + \cdots.$

R (\log (x), δ)

$\mathcal{R}(\log(x),\delta)$

e^{y + δ} / 2 < x

$e^{y+\delta}/2 \lt x$

δ

$\delta$

x

$x$

Calcoli simili implicano la disuguaglianza per le distribuzioni di Weibull, distribuzioni Half-Normal, distribuzioni lognormale, ecc, infatti, di ottenere controesempi avremmo bisogno di violare almeno un'ipotesi, costringendoci ad esaminare la distribuzione dove annulla su un certo intervallo, o è non continuamente due volte differenziabile, o ha infinitamente molte modalità. Questi sono test facili da applicare a qualsiasi famiglia di distribuzioni comunemente utilizzate nella modellistica statistica. $p$

— whuber
fonte