Perché la famiglia esponenziale non include tutte le distribuzioni?

Sto leggendo il libro:

Bishop, Pattern Recognition and Machine Learning (2006)

che definisce la famiglia esponenziale come distribuzioni del modulo (Eq. 2.194):

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

Ma non vedo restrizioni poste su o . Questo non significa che qualsiasi distribuzione può essere messa in questo modulo, scegliendo opportunamente e (in effetti solo uno di essi deve essere scelto correttamente!)? Quindi, come mai la famiglia esponenziale non include tutte le distribuzioni di probabilità? Cosa mi sto perdendo? $h(\mathbf x)$ $\mathbf u(\mathbf x)$ $h(\mathbf x)$ $\mathbf u(\mathbf x)$

Infine, una domanda più particolare a cui sono interessato è questa: la distribuzione di Bernoulli è nella famiglia esponenziale ? Wikipedia afferma che lo è, ma dal momento che sono ovviamente confuso su qualcosa qui, mi piacerebbe vedere perché.

mathematical-statistics exponential-family

— Becko
fonte

per la prova che la distribuzione di Bernoulli è nella famiglia esponenziale, prova a usare il fatto che

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$ e vedi dove ti porta

— jld

Solo per chiarire, stai chiedendo se è possibile scrivere qualsiasi distribuzione in questo modulo o se è possibile scrivere qualsiasi famiglia di distribuzioni in questo modulo? Sembra che tu abbia ottenuto risposte a quest'ultima domanda.

— Owen,

@Owen Sì, vedo ora che questo è il punto cruciale. Sebbene qualsiasi distribuzione possa essere scritta in questo modulo (impostando

h (x)

$h(\mathbf x)$ appropriato e

g = 1, u = 0

$g=1,\mathbf u= 0$ ), ciò non implica che qualsiasi famiglia possa essere scritta in questo modulo.

— becko,

@becko, è esattamente vero. Il fraseggio nel testo, "la famiglia esponenziale", è in qualche modo fuorviante, perché non esiste una sola famiglia esponenziale; piuttosto, ogni scelta di dà origine a una famiglia. Molti autori invece dicono "una famiglia esponenziale", rendendo questo più chiaro; ad esempio, vedere la pagina di Wikipedia: en.wikipedia.org/wiki/Exponential_family

(h, g, u)

$(h, g, \mathbf u)$

— Brent Kerby

@becko Penso che il tuo argomento dimostri che ogni data distribuzione può essere un membro di una famiglia esponenziale, ma non che qualsiasi famiglia di distribuzioni può essere una famiglia esponenziale.

— Matthew Drury,

Risposte:

Bene, una conseguenza della tua definizione: è che il supporto della famiglia di distribuzione indicizzata dal parametro non dipende da . (Il supporto di una distribuzione di probabilità è il (chiusura di) il meno fissato con uno di probabilità, o in altre parole, dove vive la distribuzione . Quindi è sufficiente fornire un controesempio di una famiglia di distribuzione con supporto a seconda del parametro, l'esempio più semplice è la seguente famiglia di distribuzioni uniformi:

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$ . (l'altra risposta di @Chaconne fornisce un controesempio più sofisticato).

— kjetil b halvorsen
fonte

Considera la distribuzione di Laplace non centrale

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

A meno che non sarai in grado di scriverecome prodotto interno tra e alcune funzioni di . $\mu = 0$ $|x - \mu|$ $\mu$ $x$

La famiglia esponenziale include la stragrande maggioranza delle belle distribuzioni che incontriamo comunemente, quindi all'inizio può sembrare che abbia tutto l'interesse, ma non è affatto esaustivo.

— JLD
fonte