Perché il problema del disordine è intrattabile per campioni di grandi dimensioni?


13

Supponiamo di avere un insieme di punti y={y1,y2,,yN} . Ogni punto yi viene generato usando la distribuzione

p(yi|x)=12N(x,1)+12N(0,10).
Per ottenere posteriore perxscriviamo
p(x|y)p(y|x)p(x)=p(x)i=1Np(yi|x).
Secondo l'articolo di Minka sullapropagazione delle aspettative,abbiamo bisogno dicalcoli2Nper ottenere il posteriorep(x|y) e, quindi, problema diventa intrattabile per grandi dimensioni del campione . Tuttavia, non riesco a capire perché abbiamo bisogno di tale quantità di calcoli in questo caso, perché per singola y i probabilità ha la forma p ( y i | x ) = 1Nyi
p(yi|x)=122π(exp{12(yix)2}+110exp{120yi2}).

Usando questa formula otteniamo posteriore semplicemente moltiplicando , quindi abbiamo bisogno solo di operazioni N e, quindi, possiamo risolvere esattamente questo problema per campioni di grandi dimensioni.p(yi|x)N

Faccio esperimento numerico per confrontare faccio davvero ottenere gli stessi posteriori in caso a calcolare ogni termine separatamente e in caso d'uso del prodotto della densità per ciascun . Gli esterni sono uguali. Vedi dove sbaglio? Qualcuno può chiarirmi perché abbiamo bisogno di 2 N operazioni per calcolare posteriore per data x e campione y ?yiinserisci qui la descrizione dell'immagine2Nxy


Un'operazione per termine e termini, quindi abbiamo bisogno di operazioni O ( N ) . Inoltre, guardo di nuovo attraverso il documento di Minka e il capitolo di Bishop sull'inferenza approssimativa. Entrambi suggeriscono che vogliamo stimare e ottenere posteriore per x . NO(N)x
Alexey Zaytsev,

Am i capendo correttamente che i s' sono univariata? In tal caso, puoi risolverlo in O ( n log ( n ) ) che è considerato trattabile indipendentemente da nyiO(nlog(n))n
user603

1
@Alexey Dopo aver riletto questo paragrafo, penso che l'autore non menzioni le operazioni Sottolinea semplicemente che "lo stato di convinzione di x è un misto di 2 N gaussiani" . 2Nx2N

1
@Procrastinator secondo il documento vogliamo usare la propagazione delle credenze, ma non possiamo usarla perché dobbiamo procedere con una miscela di gaussiani. Quindi la domanda è: perché vogliamo usare BP? Un'altra domanda sorge nel caso in cui leggiamo il capitolo 10.7.1 in Bishop's PRML o guardiamo una videoconferenza di Minka . Dopodiché la risposta non è così chiara. 2N
Alexey Zaytsev,

1
@Alexey Penso che la logica dietro questo sia diversa. L'autore descrive cosa succede se usi la propagazione delle credenze, al fine di enfatizzare alcune difficoltà quando è grande, e quindi promuovere la sua "propagazione delle aspettative". Egli menziona che la propagazione della credenza richiede l'uso di una miscela di 2 N gaussiani per lo stato di credenza per x che diventa complicato quando N è grande. Non si fa menzione del numero di operazioni richieste ma della complessità dello stato di credenza per x . N2NxNx

Risposte:


4

Hai ragione sul fatto che il giornale sta dicendo la cosa sbagliata. Puoi certamente valutare la distribuzione posteriore di in una posizione nota usando le operazioni O ( n ) . Il problema è quando si desidera calcolare i momenti del posteriore. Per calcolare esattamente la media posteriore di x , occorrono 2 N operazioni. Questo è il problema che il documento sta cercando di risolvere.xO(n)x2N


2

Hai perso il punto che la distribuzione è una miscela di gaussiani: ogni campione è distribuito come da p ( y i | x ) con probabilità 1 - w e come p c ( y ) (distribuzione del disordine per y , indipendentemente da x ) con probabilità w .yip(yi|x)1wpc(y)yxw

Lasciate essere la variabile indicatore che indica che campione mi ero trarre dalla distribuzione disordine; quindi, se è 0 indica che il campione è stato disegnato da p ( y | x ) . Ovviamente, se il campione è stato estratto dalla distribuzione del disordine, il suo valore è irrilevante per la stima di x .cii0p(y|x)x

È la presenza dei possibili stati congiunti per queste variabili indicatrici che causa il problema.2N


cix2N

c

cici

2N

O(n), not O(2n) complexity.
Alexey Zaytsev
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.