C'è qualche utilità per la quantità

\int f (x)^{2} d x

$\int f(x)^2 dx$ in statistica o teoria dell'informazione?

probability entropy information-theory

— charles.y.zheng
fonte

Entropia renale

— cardinale

è un pdf, giusto?

f

$f$

— whuber

Sì,

è una densità.

f

$f$

— charles.y.zheng

Risposta cardinale!

@mbq: Ok, proverò a scrivere qualcosa un po 'più tardi che merita una risposta. :)

— cardinale

Lettere indica una funzione di densità di probabilità (rispettivamente rispetto a Lebesgue o misura di conteggio), la quantità $f$ $\newcommand{\rd}{\mathrm{d}}$ è noto comeentropia Renyidell'ordine. È una generalizzazione dell'entropia di Shannon che conserva molte delle stesse proprietà. Nel caso, interpretiamocome, e questo corrisponde all'entropia standard di Shannon.

H_{α} (f) = - \frac{1}{α - 1} \log (\int f^{α} d μ)

$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$

α \geq 0

$\alpha \geq 0$

α = 1

$\alpha = 1$

H_{1} (f)

$H_1(f)$

lim_{α \to 1} H_{α} (f)

$\lim_{\alpha \to 1} H_{\alpha}(f)$

H (f)

$H(f)$

Renyi ha introdotto questo nel suo documento

A. Renyi, Su misure di informazione ed entropia , Proc. 4th Berkeley Symp. sulla matematica., Stat. e Prob. (1960), pagg. 547-561.

che vale la pena leggere, non solo per le idee ma per lo stile espositivo esemplare.

Il caso è una delle scelte più comuni per e questo caso speciale è (anche) spesso indicato come entropia di Renyi. Qui vediamo che per una variabile casuale distribuita con densità . $\alpha = 2$ $\alpha$

H_{2} (f) = - \log (\int f^{2} d μ) = - \log (E f (X))

$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$

f

$f$

$- \log(x)$

H_{2} (f) = - \log (E f (X)) \leq E (- \log f (X)) = - E \log f (X) = H (f)

$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$ dove il lato destro indica l'entropia di Shannon. Quindi l'entropia di Renyi fornisce un limite inferiore per l'entropia di Shannon e, in molti casi, è più facile da calcolare.

$X$ $X^\star$ $X = X^\star$

P (X = X^{⋆}) = \sum_{i = 1}^{\infty} P (X = x_{i}, X^{⋆} = x_{i}) = \sum_{i = 1}^{\infty} P (X = x_{i}) P (X^{⋆} = x_{i}) = e^{- H_{2} (f)} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$

$f$ $\Omega = \{x_i: i \in \mathbb{N}\}$

L'entropia (generale) di Renyi è anche apparentemente correlata all'energia libera di un sistema in equilibrio termico, sebbene io non ne sia personalmente all'altezza. Un (molto) recente articolo sull'argomento è

JC Baez, entropia di Renyi ed energia libera , arXiv [quant-ph] 1101.2098 (febbraio 2011).

— cardinale
fonte

Stavo davvero usando l'entropia di Renyi come sostituto dell'entropia di Shannon; è bello vedere la conferma del mio intuito. Grazie per la risposta illuminante.

— charles.y.zheng,

- \log x

$-\log x$

Vedo. In particolare, ho bisogno della proprietà che la massima distribuzione congiunta di entropia che soddisfi determinati margini sia il prodotto dei marginali (ciò che

— otterresti