Qual è la funzione di densità di probabilità entropia massima per una variabile positiva positiva di media data e deviazione standard?

13

Qual è la massima distribuzione di entropia per una variabile continua positiva, visti i suoi primi e secondi momenti?

Ad esempio, una distribuzione gaussiana è la massima distribuzione di entropia per una variabile illimitata, data la sua media e deviazione standard, e una distribuzione gamma è la massima distribuzione di entropia per una variabile positiva, dato il suo valore medio e il valore medio del suo logaritmo.

— Becko
fonte

13

Si può semplicemente usare il teorema di Boltzmann che si trova proprio nell'articolo di Wikipedia che indichi .

Nota che specificare la media e la varianza equivale a specificare i primi due momenti grezzi - ciascuno determina l'altro (non è effettivamente necessario invocarlo, poiché possiamo applicare il teorema direttamente alla media e alla varianza, è solo un po 'più semplice in questo modo ).

Il teorema stabilisce quindi che la densità deve essere della forma:

f (x) = c \exp (λ_{1} x + λ_{2} x^{2}) for all x \geq 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

L'integrabilità sulla linea reale positiva limiterà a e penso che ponga alcune restrizioni sulle relazioni tra $\lambda_2$ $\leq 0$ $\lambda$ s (che presumibilmente saranno soddisfatte automaticamente quando si parte dalla media e dalla varianza specificate anziché dai momenti grezzi).

Con mia sorpresa (poiché non me lo sarei aspettato quando ho iniziato questa risposta), questo sembra lasciarci con una distribuzione normale troncata.

In effetti, non credo di aver usato questo teorema prima, quindi critiche o suggerimenti utili su qualsiasi cosa che non abbia preso in considerazione o che abbia lasciato fuori sarebbero i benvenuti.

— Glen_b -Restate Monica
fonte

- \infty

$-\infty$

\infty

$\infty$

x

$x$

1 / x

$1/x$

\frac{1}{x} \exp (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

7

Voglio rendere la risposta di @ Glen_b più esplicita, ecco una risposta extra solo perché non si adatterebbe come un commento.

f (x) \propto N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

a_{1}, a_{2}

$a_1, a_2$

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$

$x>x_{min}$ $\lambda_{1,2}$ $1/c$ $\mu$ $\sigma^2$ $x_{min}=0$ $x_{min} \to -\infty$

$a_1, a_2$ $\lambda_{1,2}$ $\lambda_{1,2}$

Questa domanda è un duplicato di /math/598608/what-is-the-ma maximum- entropy-distribution-for- a-continuous- random-variable-on-0

— Fred Schoen
fonte