Perché il problema del disordine è intrattabile per campioni di grandi dimensioni?

Supponiamo di avere un insieme di punti $\mathbf{y} = \{y_1, y_2, \ldots, y_N \}$ . Ogni punto $y_i$ viene generato usando la distribuzione

p (y_{i} | x) = \frac{1}{2} N (x, 1) + \frac{1}{2} N (0, 10) .

$p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10).$ Per ottenere posteriore per

x

$x$ scriviamo

p (x | y) \propto p (y | x) p (x) = p (x) \prod_{i = 1}^{N} p (y_{i} | x) .

$p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x).$ Secondo l'articolo di Minka sullapropagazione delle aspettative,abbiamo bisogno dicalcoli

2^{N}

$2^N$ per ottenere il posteriore

p (x | y)

$p(x| \mathbf{y})$ e, quindi, problema diventa intrattabile per grandi dimensioni del campione

. Tuttavia, non riesco a capire perché abbiamo bisogno di tale quantità di calcoli in questo caso, perché per singola

probabilità ha la forma

N

$N$

y_{i}

$y_i$

p (y_{i} | x) = \frac{1}{2 \sqrt{2 π}} (\exp {- \frac{1}{2} (y_{i} - x)^{2}} + \frac{1}{\sqrt{10}} \exp {- \frac{1}{20} y_{i}^{2}}) .

$p(y_i| x) = \frac{1}{2 \sqrt{2 \pi}} \left( \exp \left\{-\frac12 (y_i - x)^2\right\} + \frac{1}{\sqrt{10}} \exp \left\{-\frac1{20} y_i^2\right\} \right).$

Usando questa formula otteniamo posteriore semplicemente moltiplicando , quindi abbiamo bisogno solo di operazioni e, quindi, possiamo risolvere esattamente questo problema per campioni di grandi dimensioni. $p(y_i| x)$ $N$

Faccio esperimento numerico per confrontare faccio davvero ottenere gli stessi posteriori in caso a calcolare ogni termine separatamente e in caso d'uso del prodotto della densità per ciascun . Gli esterni sono uguali. Vedi dove sbaglio? Qualcuno può chiarirmi perché abbiamo bisogno di operazioni per calcolare posteriore per data e campione ? $y_i$ inserisci qui la descrizione dell'immagine $2^N$ $x$ $\mathbf{y}$

bayesian mixture posterior

— Alexey Zaytsev
fonte

Un'operazione per termine e

termini, quindi abbiamo bisogno di operazioni

. Inoltre, guardo di nuovo attraverso il documento di Minka e il capitolo di Bishop sull'inferenza approssimativa. Entrambi suggeriscono che vogliamo stimare e ottenere posteriore per

N

$N$

O (N)

$O(N)$

x

$x$

— Alexey Zaytsev,

Am i capendo correttamente che i

s' sono univariata? In tal caso, puoi risolverlo in

che è considerato trattabile indipendentemente da

y_{i}

$y_i$

O (n \log (n))

$O(n\log(n))$

n

$n$

— user603

@Alexey Dopo aver riletto questo paragrafo, penso che l'autore non menzioni le operazioni

Sottolinea semplicemente che "lo stato di convinzione di è un misto di gaussiani" .

2^{N}

$2^N$ $x$ $2^N$

@Procrastinator secondo il documento vogliamo usare la propagazione delle credenze, ma non possiamo usarla perché dobbiamo procedere con una miscela di

gaussiani. Quindi la domanda è: perché vogliamo usare BP? Un'altra domanda sorge nel caso in cui leggiamo il capitolo 10.7.1 in Bishop's PRML o guardiamo una videoconferenza di Minka . Dopodiché la risposta non è così chiara.

2^{N}

$2^N$

— Alexey Zaytsev,

@Alexey Penso che la logica dietro questo sia diversa. L'autore descrive cosa succede se usi la propagazione delle credenze, al fine di enfatizzare alcune difficoltà quando

è grande, e quindi promuovere la sua "propagazione delle aspettative". Egli menziona che la propagazione della credenza richiede l'uso di una miscela di

gaussiani per lo stato di credenza per

che diventa complicato quando

è grande. Non si fa menzione del numero di operazioni richieste ma della complessità dello stato di credenza per

N

$N$

2^{N}

$2^N$

x

$x$

N

$N$

x

$x$

Hai ragione sul fatto che il giornale sta dicendo la cosa sbagliata. Puoi certamente valutare la distribuzione posteriore di in una posizione nota usando le operazioni . Il problema è quando si desidera calcolare i momenti del posteriore. Per calcolare esattamente la media posteriore di , occorrono operazioni. Questo è il problema che il documento sta cercando di risolvere. $x$ $O(n)$ $x$ $2^N$

— Tom Minka
fonte

Hai perso il punto che la distribuzione è una miscela di gaussiani: ogni campione è distribuito come da con probabilità e come (distribuzione del disordine per , indipendentemente da ) con probabilità . $y_i$ $p(y_i | x)$ $1-w$ $p_c(y)$ $y$ $x$ $w$

Lasciate essere la variabile indicatore che indica che campione ero trarre dalla distribuzione disordine; quindi, se è indica che il campione è stato disegnato da . Ovviamente, se il campione è stato estratto dalla distribuzione del disordine, il suo valore è irrilevante per la stima di . $c_i$ $i$ $0$ $p(y|x)$ $x$

È la presenza dei possibili stati congiunti per queste variabili indicatrici che causa il problema. $2^N$

— Dave
fonte

c_{i}

$c_i$

x

$x$

2^{N}

$2^N$

c

$c$

c_{i}

$c_i$

c_{i}

$c_i$

2^{N}

$2^N$

O (n)

$O(n)$ , not

O (2^{n})

$O(2^n)$ complexity.

— Alexey Zaytsev