Laplace smoothing e Dirichlet precedenti

11

Sul articolo wikipedia di Laplace smoothing (o lisciatura additivo), si dice che da un punto di vista Bayesiano,

questo corrisponde al valore atteso della distribuzione posteriore, usando una distribuzione di Dirichlet simmetrica con il parametro come precedente. $\alpha$

Sono perplesso su come sia effettivamente vero. Qualcuno potrebbe aiutarmi a capire come queste due cose sono equivalenti?

Grazie!

— DanielX2010
fonte

10

Sicuro. Questa è essenzialmente l'osservazione che la distribuzione di Dirichlet è un coniugato precedente alla distribuzione multinomiale. Ciò significa che hanno la stessa forma funzionale. L'articolo lo menziona, ma sottolineerò solo che ciò deriva dal modello di campionamento multinomiale. Quindi, arrivando ad esso ...

L'osservazione riguarda il posteriore, quindi introduciamo alcuni dati, , che sono conteggi di elementi distinti. Osserviamo campioni totali. Supponiamo che sia tratto da una distribuzione sconosciuta (sulla quale metteremo un prima del -simplex). $x$ $K$ $N = \sum_{i=1}^K x_i$ $x$ $\pi$ $\mathrm{Dir}(\alpha)$ $K$

La probabilità posteriore di data e data è $\pi$ $\alpha$ $x$

p (π | x, α) = p (x | π) p (π | α)

$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$

La probabilità, , è la distribuzione multinomiale. Ora scriviamo i pdf: $p(x|\pi)$

p (x | π) = \frac{N!}{x_{1}! \dots x_{k}!} π_{1}^{x_{1}} \dots π_{k}^{x_{k}}

$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$

e

p (π | α) = \frac{1}{B (α)} \prod_{i = 1}^{K} π_{i}^{α - 1}

$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$

dove . Moltiplicando, troviamo che, $\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

p (π | α, x) = p (x | π) p (π | α) \propto \prod_{i = 1}^{K} π_{i}^{x_{i} + α - 1} .

$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$

In altre parole, il posteriore è anche Dirichlet. La domanda riguardava la media posteriore. Poiché il posteriore è Dirichlet, possiamo applicare la formula per la media di un Dirichlet per scoprire che,

E [π_{i} | α, x] = \frac{x_{i} + α}{N + K α} .

$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$

Spero che questo ti aiuti!

— Sì
fonte

p (π | α, x) = p (x | π) p (π | α) / p (x | α),

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)/p(x | \alpha),$ quindi non è sbagliato dire cheSono proporzionali rispetto a , ma penso che non sia vero scrivere un'uguaglianza.

p (π | α, x) = p (x | π) p (π | α) ?

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)?$

π

$\pi$

— michal,

Ne ero confuso da molto tempo e voglio condividere la mia realizzazione. Queste persone che motivano il livellamento di Laplace di Dirichlet usano la media posteriore, non la MAP. Per semplicità, supponi la distribuzione Beta (il caso più semplice di Dirichlet) La media posteriore è mentre la MAP è . Quindi, se qualcuno dice corrisponde all'aggiunta di 1 al numeratore e 2 al denominatore, è perché stanno usando la media posteriore.

\frac{α + n_{s u c c e s s}}{α + β + n_{s u c c e s s} + n_{f a i l u r e s}}

$\frac{\alpha + n_{success}}{\alpha + \beta + n_{success} + n_{failures}}$

\frac{α + n_{s u c c e s s} - 1}{α + β + n_{s u c c e s s} + n_{f a i l u r e s} - 2}

$\frac{\alpha + n_{success} - 1}{\alpha + \beta + n_{success} + n_{failures} - 2}$

α = β = 1

$\alpha = \beta = 1$

— RMurphy,

0

Come nota a margine, vorrei anche aggiungere un altro punto alla derivazione di cui sopra, che non riguarda realmente la domanda principale. Tuttavia, parlando dei priori di Dirichlet sulla distribuzione multinomiale, ho pensato che valesse la pena menzionare che quale sarebbe la forma della funzione di probabilità se prendiamo le probabilità come variabili di disturbo.

Come correttamente sottolineato da Sydeulissie, è proporzionale a . Ora qui vorrei calcolare . $p(\pi | \alpha, x)$ $\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$ $p(x|\alpha)$

p (x | α) = \int \prod_{i = 1}^{K} p (x | π_{i}, α) p (π | α) d π_{1} d π_{2} . . . d π_{K}

$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$

Usando un'identità integrale per le funzioni gamma, abbiamo:

p (x | α) = \frac{Γ (K α)}{Γ (N + K α)} \prod_{i = 1}^{K} \frac{Γ (x_{i} + α)}{Γ (α)}

$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$

La suddetta derivazione della probabilità di dati categoriali propone un modo più solido di trattare questi dati nei casi in cui la dimensione del campione non è abbastanza grande. $N$

— Omidi
fonte