MAP è una soluzione a

10

Mi sono imbattuto in queste diapositive (diapositiva n. 16 e n. 17) in uno dei corsi online. L'istruttore stava cercando di spiegare come la massima stima posteriore (MAP) sia effettivamente la soluzione $L(\theta) = \mathcal{I}[\theta \ne \theta^{*}]$ , dove $\theta^{*}$ è il vero parametro.

Qualcuno può spiegare come segue?

Modifica: aggiunte le diapositive, nel caso in cui il collegamento si interrompa.

— Tasso di miele
fonte

3

Dall'esame delle diapositive che hai condiviso, mi sembra che l'idea sia di spiegare come la stima MAP può essere utilizzata per stimare diverse proprietà del posteriore, come media, modalità e mediana. Cercherò di spiegarlo nel contesto degli stimatori generali bayesiani come presentato nel libro di Stephen M. Kay, Fondamenti di elaborazione del segnale statistico .

Cominciamo considerando tre tipi di rischio (ovvero funzioni di costo) associati alla stima del parametro $\theta$ :

$C(e) = e^2$

$C(e) = |e|$

$if -\delta < e < \delta, C(e)=0$ ; altrimenti $C(e)=1$

dove, $e = \theta - \hat{\theta}$ , in cui è il valore stimato e è il vero parametro. Nella stima bayesiana, l'obiettivo è minimizzare il rischio atteso, ovvero: $\hat{\theta}$ $\theta$

$E[C(e)]= \int_X \int_{\theta} C(e)p(X,\theta)d\theta dX = \int_X \left[\int_\theta C(e)p(\theta|X)d\theta\right] p(X)dX$

poiché ci preoccupiamo solo di $\theta$ , ci concentreremo sul $\min_{\theta}\int_\theta C(e)p(\theta|X)d\theta$ integrale interno .

Ora, a seconda di quale $C(e)$ scegliamo, lo stimatore ci darà una diversa proprietà del posteriore. Ad esempio, se scegliamo il primo caso, $C(e) = e^2$ , la minimizzazione $\theta$ per $\int_\theta C(e)p(\theta|X)d\theta$ è la media. Dal momento che stai domanda è per quanto riguarda la funzione di indicatore di $I[\hat{\theta}\ne \theta]$ , Affronterò il terzo rischio sopra menzionato (che se ci pensate per $\delta\rightarrow 0$ equivale a usare l'indicatore).

Per il caso 3 sopra:

$\int_\theta C(e)p(\theta|X)d\theta = \int_{-\infty}^{\hat{\theta}-\delta}p(\theta|X)d\theta + \int_{\hat{\theta}+\delta}^{\infty}p(\theta|X)d\theta = 1 - \int_{\hat{\theta}+\delta}^{\hat{\theta}+\delta}p(\theta|X)d\theta$

che per $\delta \rightarrow 0$ viene minimizzato quando corrisponde alla modalità del posteriore. $\hat{\theta}$

— idnavid
fonte

2

Grazie per la meravigliosa spiegazione. Inoltre, i lettori futuri possono leggere lo stesso in un libro di testo simile: Capitolo 5 di Machine_Learning a Probabilistic Perspective di Kevin Murphy

— honeybadger,

Potresti specificare i dettagli di questo argomento limitativo in

? Intendi il limite della procedura quando

va a zero o il limite della perdita posteriore?

δ

$\delta$

δ

$\delta$

— Xi'an,

Mi riferisco al limite dell'aspettativa

.

E [C (e)]

$E[C(e)]$

— idnavid,

10

Nel caso specifico spazio dei parametri sia finito o infinito numerabile perdita posteriori associate con la perdita indicatore è uguale alla probabilità di sbagliare e viene minimizzata quando la probabilità a posteriori di essere corretta è massimizzato. Ciò significa che è la modalità di distribuzione posteriore o il MAP. $\Theta$

Θ = {θ_{1}, θ_{2}, ...}

$\Theta=\{\theta_1,\theta_2,\ldots\}$

P (\hat{θ} \neq θ | x)

$\mathbb{P}(\hat{\theta}\ne\theta|x)$

P (\hat{θ} = θ | x)

$\mathbb{P}(\hat{\theta}=\theta|x)$

\hat{θ}

$\hat{\theta}$

Tuttavia, questa associazione di MAP e perdita è un "teorema popolare" nel senso che non è corretta nella maggior parte delle impostazioni, ad esempio, che non regge per spazi parametro continuo in cui per tutti 's ed esso ulteriori conflitti con i risultati di Druihlet e Marin (BA, 2007), che sottolineano che la mappa in ultima analisi, dipende dalla scelta della misura dominante. (Anche se la misura di Lebesgue viene scelta implicitamente come impostazione predefinita.) $0-1$ $\mathbb{P}(\hat{\theta}=\theta|x)=0$ $\hat{\theta}$

Ad esempio, Evans e Jang hanno pubblicato un articolo di arXiv nel 2011 in cui discutono della connessione tra MAP, stimatori con sorpresa relativa (o massima probabilità del profilo) e funzioni di perdita. Il nocciolo della questione è che né gli stimatori MAP, né gli MLE sono realmente giustificati da un approccio teorico-decisionale, almeno in uno spazio di parametri continuo. E che la misura dominante [scelta arbitrariamente] sullo spazio dei parametri influisce sul valore del MAP, come dimostrato da Druihlet e Marin nel 2007. Iniziano nel caso finito con la funzione di perdita dove considerano la stima della trasformazione Ψ (θ) per d, inversamente ponderata dal marginale precedente a questa trasformazione. Nel caso speciale della trasformazione dell'identità, questa funzione di perdita porta all'MLE come lo stimatore di Bayes. Nel caso generale, lo stimatore Bayes è lo stimatore della massima verosimiglianza del profilo (LRSE). Tuttavia, questa funzione di perdita non si generalizza in spazi numerici infiniti (e ovviamente continui) e in tali impostazioni gli autori possono fornire LRSE solo come limiti delle procedure di Bayes. La funzione di perdita adottata nel caso numerabile è ad esempio

L (θ, d) = io {Ψ (θ) \neq d) / π_{Ψ} (Ψ (θ))

$\mathrm{L}(\theta,d) = \mathbb{I}\{\Psi(\theta) \ne d) / \pi_\Psi(\Psi(\theta))$

con il limite decrescente a zero. Nel caso continuo, l'indicatore non funziona più, quindi la scelta fatta dagli autori è di discretizzare lo spazio Ψ (Θ) con una scelta specifica di una partizione di sfere il cui diametro λ va a zero. Nello spirito di Druihlet e Marin, questa scelta dipende da una metrica (e da ulteriori condizioni di regolarità). Inoltre, l'LRSE stesso

L (θ, d) = io {Ψ (θ) \neq d} / max {η, π_{Ψ} (Ψ (θ))}

$\mathrm{L}(\theta,d) = \mathbb{I}\{\Psi(\theta) \ne d\} / \max\{\eta,\pi_\Psi(\Psi(\theta))\}$

dipende dalla versione scelta per le densità (se non dalla misura dominante), a meno che non si imponga ovunque l'uguaglianza di Bayes

ovunque, quando

max_{ψ} π_{ψ} (ψ | X) / π_{ψ} (θ)

$\max_{\psi}\pi_\psi(\psi|x)/\pi_\psi(\theta)$

π_{ψ} (ψ | X) / π_{ψ} (θ) = f (X | ψ) / m (X)

$\pi_{\psi}(\psi|x)/\pi_\psi(\theta)=f(x|\psi)/m(x)$

e

f (X | ψ) = \int_{{θ; Ψ (θ) = ψ}} f (X | θ) π (θ) d θ

$f(x|\psi)=\int_{\{\theta;\Psi(\theta)=\psi\}}f(x|\theta)\pi(\theta)\mathrm{d}\theta$

nello spirito delnostro paradosso di Savage-Dickey.

m (X) = \int f (X | θ) π (θ) d θ

$m(x)=\int f(x|\theta)\pi(\theta)\mathrm{d}\theta$

Robert Bassett e Julio Deride hanno pubblicato un documento nel 2016 discutendo la posizione dei MAP nella teoria delle decisioni bayesiane.

"... forniamo un controesempio alla nozione comunemente accettata di stimatori MAP come limite degli stimatori di Bayes con perdita 0-1."

Gli autori menzionano il mio libro The Bayesian Choice affermando questa proprietà senza ulteriori precauzioni e sono completamente d'accordo sul fatto di essere negligente in questo senso! La difficoltà sta nel fatto che il limite dei massimizzatori non è necessariamente il massimizzatore del limite. L'articolo include un esempio in tal senso, con un precedente come sopra, associato a una distribuzione di campionamento che non dipende dal parametro. Le condizioni sufficienti ivi proposte sono che la densità posteriore è quasi sicuramente corretta o quasiconcava.

Vedi anche una caratterizzazione alternativa degli stimatori di MAP da parte di Burger e Lucka come stimatori di Bayes adeguati sotto un altro tipo di funzione di perdita , sebbene piuttosto artificiale. Gli autori di questo articolo arXived iniziano con una distanza basata sul precedente; chiamata la distanza di Bregman, che può essere la distanza quadratica o entropica a seconda del precedente. Definire una funzione di perdita che è un mix di questa distanza di Bregman e della distanza quadratica

| | K (\hat{u} - u) | |^{2} + 2 D_{π} (\hat{u}, u)

$||K(\hat u-u)||^2+2D_\pi(\hat u,u)$ produce la MAP come stimatore di Bayes. Si potrebbe ancora chiedersi della misura dominante, ma sia la funzione di perdita che lo stimatore risultante dipendono chiaramente dalla scelta della misura dominante ... (La perdita dipende dal precedente ma questo non è un inconveniente di per sé.)

— Xi'an
fonte

1

Darò il riassunto del testo menzionato su questo problema nel capitolo 5, Statistiche bayesiane, Apprendimento automatico: una prospettiva probabilistica - di Murphy .

$X$ $p(\theta|X)$

A differenza della media o della mediana, questo è un punto "atipico", nel senso che non considera tutti gli altri punti mentre viene stimato. Nel caso della stima della media / mediana, prendiamo in considerazione tutti gli altri punti.

Quindi, come previsto, nelle distribuzioni posteriori molto inclinate, la MAP (e, per estensione, la MLE) non rappresenta veramente la realtà posteriore.

Quindi, come possiamo sintetizzare un posteriore usando una stima puntuale come Media / Mediana / Modalità?

$L(\theta, \hat{\theta})$ $\theta$ $\hat{\theta}$

$L(\theta, \hat{\theta})$ $\mathbb{I}(\hat{\theta}\ne\theta|x)$ $\theta$ $\mathbb{I}(\hat{\theta}=\theta|x)$ $\theta$ .

— Tasso di miele
fonte