Qual è la differenza tra distribuzione predittiva posteriore e posteriore?

Capisco cos'è un posteriore, ma non sono sicuro di cosa significhi quest'ultimo?

In che modo i 2 sono diversi?

Kevin P Murphy ha indicato nel suo libro di testo, Machine Learning: a Probabilistic Perspective , che si tratta di "uno stato di convinzione interno". Cosa significa veramente? Avevo l'impressione che un Priore rappresenti la tua convinzione o pregiudizio interno, dove sbaglio?

posterior definition

— ANNO DOMINI
fonte

Risposte:

La semplice differenza tra i due è che la distribuzione posteriore dipende dal parametro sconosciuto $\theta$ , cioè la distribuzione posteriore è:

p (θ | X) = c \times p (X | θ) p (θ)

$p(\theta|x)=c\times p(x|\theta)p(\theta)$ dove

c

$c$ è la costante normalizzante .

Mentre d'altra parte, la distribuzione predittiva posteriore non dipende dal parametro sconosciuto $\theta$ perché è stata integrata fuori, cioè la distribuzione predittiva posteriore è:

p (X^{*} | X) = \int_{Θ} c \times p (X^{*}, θ | X) d θ = \int_{Θ} c \times p (X^{*} | θ) p (θ | X) d θ

$p(x^*|x)=\int_\Theta c\times p(x^*,\theta|x)d\theta=\int_\Theta c\times p(x^*|\theta)p(\theta|x)d\theta$

$x^*$ $x$

Non mi soffermerò sulla spiegazione della distribuzione posteriore poiché dici che la capisci, ma la distribuzione posteriore "è la distribuzione di una quantità sconosciuta, trattata come una variabile casuale, subordinata alle prove ottenute" (Wikipedia). Quindi sostanzialmente è la distribuzione che spiega il tuo parametro sconosciuto, casuale.

D'altra parte, la distribuzione predittiva posteriore ha un significato completamente diverso in quanto è la distribuzione per i dati previsti futuri basati sui dati che hai già visto. Quindi la distribuzione predittiva posteriore viene sostanzialmente utilizzata per prevedere nuovi valori di dati.

Se aiuta, è un grafico di esempio di una distribuzione posteriore e una distribuzione predittiva posteriore:

inserisci qui la descrizione dell'immagine

— Jinhua Wang
fonte

Quel grafico di distribuzione predittivo posteriore ha bisogno di nuove etichette degli assi e una didascalia o qualcosa del genere. Ho avuto l'idea perché so cos'è una distribuzione predittiva posteriore, ma qualcuno che sta solo scoprendo potrebbe essere seriamente confuso.

— Ciano,

Grazie @BabakP potrebbe anche punto me che cosa che cosa la distribuzione è stato utilizzato per tracciare il PMF di theta, e P (x * | theta)

— AD

... perché vorrei elaborare l'esempio completo.

— AD

Ho solo fatto finta che il mio posteriore fosse una Beta (3,2). In realtà non ho risolto nulla. Ma ovviamente, se vuoi un esempio, supponi che la probabilità sia un Binomiale (n, p) e il precedente su p è una Beta (a, b), dovresti essere in grado di ottenere che il posteriore sia di nuovo una distribuzione beta .

Inoltre, quella predittiva posteriore non è facile da ricavare. Ho appena preso un grafico da un codice di processo gaussiano che ho scritto per un predittivo posteriore GP. Detto questo, quel grafico predittivo posteriore e quello posteriore sopra non corrispondono effettivamente al posteriore mostrato, sono entrambi arbitrari.

La distribuzione predittiva viene generalmente utilizzata quando si è appresa una distribuzione posteriore per il parametro di una sorta di modello predittivo. Ad esempio nella regressione lineare bayesiana, si impara una distribuzione posteriore sul parametro w del modello y = wX dati alcuni dati osservati X.
Quindi quando entra un nuovo punto dati invisibile x *, si desidera trovare la distribuzione su possibili previsioni y * data la distribuzione posteriore per w che hai appena imparato. Questa distribuzione su possibili y * dato il posteriore per w è la distribuzione di previsione.

— user1893354
fonte

Si riferiscono a distribuzioni di due cose diverse.

La distribuzione posteriore si riferisce alla distribuzione del parametro , mentre la distribuzione predittiva posteriore (PPD) si riferisce alla distribuzione di future osservazioni di dati .

— SPMQET
fonte