Estrarre campioni da una miscela finita di distribuzioni normali?

Dopo alcuni passaggi di aggiornamento bayesiano, mi rimane una distribuzione posteriore della forma di una miscela di distribuzioni normali,Vale a dire, il parametro è tratto da una distribuzione il cui PDF è dato come una miscela ponderata di PDF normali e non è una somma di camper normali. Vorrei disegnare campioni da usare in un'importante approssimazione campionaria di questo posteriore. In pratica, la somma sopra può avere un gran numero di termini, quindi può essere poco pratico scegliere un termine secondo i pesi e quindi disegnare

Pr (θ | data) = \sum_{i = 1}^{k} w_{i} N (μ_{i}, σ^{2}) .

$\Pr(\theta| \text{data} ) = \sum_{i=1}^k w_i N(\mu_i, \sigma^2).$

θ

$\theta$

θ \sim Pr (θ | data)

$\theta\sim\Pr(\theta|\text{data})$

i

$i$

i

$i$

{w_{i}}

$\{w_i\}$

θ \sim N (μ_{i}, σ^{2})

$\theta\sim N(\mu_i, \sigma^2)$ . Esiste un modo efficiente per estrarre campioni da un posteriore di questa forma?

monte-carlo probability

— Chris Granade
fonte

Hai effettivamente provato il metodo select then throw? La selezione può essere effettuata ragionevolmente velocemente di O (k) passi.

— dmckee --- ex gattino moderatore

Se la soluzione di Barron non è davvero corretta e in realtà intendi un "modello di miscela", potresti usare questo termine?

— Neil G,

Neil G: Non sono uno statistico di professione, piuttosto un fisico che a volte ha bisogno di usare le statistiche. In quanto tale, non conoscevo il termine appropriato per descrivere ciò di cui avevo bisogno. Ora posso continuare e modificare la domanda per chiarire che i PDF vengono sommati e non i camper.

— Chris Granade,

@ChrisGranade: non stavo cercando di venire su di te. Volevo solo assicurarmi che fosse quello che volevi dire e suggerire la modifica.

— Neil G,

Perché non è pratico scegliere base ai pesi e ad un campione dalla distribuzione uniforme su , quindi al campione ? Questo è solo moderatamente più costoso del campionamento di una singola distribuzione normale, il costo è indipendente dal numero di distribuzioni miste e non si basa sul fatto che tali distribuzioni siano normali.

i

$i$

{w_{i}}

$\{w_i\}$

[0, 1]

$[0,1]$

N (μ_{i}, σ^{2})

$N(\mu_i,\sigma^2)$

k

$k$

— Jed Brown,

Risposte:

In linea di principio, è possibile preselezionare il numero di campioni da prelevare da ciascuna sottodistribuzione, quindi visitare ogni sottodistribuzione una sola volta e disegnare il numero di punti.

Questo è

Trova l'insieme casuale tale che e rispettando i pesi. $<n_1, n_2, \dots, n_k>$ $n = \sum_{i=1}^k n_i$

Credo che tu faccia questo ~~disegnando una distribuzione di Poisson una distribuzione~~ multinomiale (vedi i commenti) della media per ogni sub-distribuzione e quindi normalizzando la somma a . $w_i * n$ $n$

Il lavoro qui è $\mathcal{O}(k) * \mathcal{O}(n)$

Quindi fa

for (i=1; i<=k; ++i)
   for (j=1; j<=n[i]; ++j)
      theta ~ N(mu[i],sigma[i])

Il lavoro qui è $\mathcal{O}(n)$

Anche se questo significa che non ottieni l'ordine casuale. Se è richiesto un ordine casuale, devi quindi mescolare i sorteggi (anche big ). $\mathcal{O}(n)$

Sembra che il primo passo sia dominato in fase di esecuzione e dello stesso ordine dell'algoritmo ingenuo, ma se sei sicuro che tutti potresti approssimare le distribuzioni di Poisson con distribuzioni normali e accelerare il primo passo. $w_i * n \gg 1$

— dmckee --- gattino ex moderatore
fonte

La distribuzione di non è una distribuzione di Poisson se è fissa, ma una distribuzione binomiale.

n_{i}

$n_i$

n

$n$

— Frédéric Grosshans,

@ FrédéricGrosshans Uhm ... ecco dove ammetto la mia angosciante debolezza nella probabilità. Guardando penso che tu possa avere ragione. Non ho un link per lanciare distribuzioni binomiali arbitrarie, ma Wikipedia ha alcuni riferimenti . Esiste anche una relazione tra Poisson e Binomial, che ho intenzione di dichiarare responsabile della mia incertezza. Sì, quello è il biglietto.

— dmckee --- ex gattino moderatore

@dmckee: buona risposta per trarre da un modello di miscela, tranne per il fatto che dovrebbe essere una distribuzione multinomiale piuttosto che una distribuzione di Poisson nel passaggio 1.

— Neil G

Nota: la versione originale di questa domanda chiedeva una "somma ponderata delle distribuzioni normali" a cui potrebbe essere utile la seguente risposta. Tuttavia, dopo un bel po 'di discussione su questa risposta, la risposta di @Geoff e sulla domanda stessa, è diventato chiaro che la domanda era davvero sul campionamento di una "miscela di distribuzioni normali" a cui questa risposta non è applicabile.

La somma delle distribuzioni normali è una distribuzione normale, quindi è possibile calcolare i parametri di questa singola distribuzione e quindi semplicemente trarne dei campioni. Se chiamiamo quella distribuzione , allora, $N(\mu_{sum},\sigma_{sum}^2)$

μ_{S u m} = Σ_{io = 1}^{K} w_{io} μ_{io}

$\mu_{sum} = \sum_{i=1}^k w_i\mu_i$

σ_{S u m}^{2} = Σ_{io = 1}^{K} w_{io}^{2} σ_{io}^{2}

$\sigma_{sum}^2=\sum_{i=1}^k w_i^2 \sigma_i^2$

— Barron
fonte

Per dirla in breve, Chris sta sommando le funzioni di densità di probabilità, non variabili casuali.

— Geoff Oxberry,

Chris vuole un PDF che contenga (almeno in linea di principio) più dossi. Cioè, era la somma dei PDF, non il PDF di una somma.

— dmckee --- ex gattino moderatore

È vero che la somma delle variabili casuali normalmente distribuite è essa stessa una variabile casuale normalmente distribuita. Tuttavia, la somma delle distribuzioni normali non è una distribuzione normale. Quindi se

, è vero che

X_{1} \sim N (μ_{1}, σ_{1}^{2})

$X_{1} \sim N(\mu_{1},\sigma_{1}^2)$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

, ma

. (Il merito va a @ChrisGranade per la spiegazione.)

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2})$

P D F (X_{1} + X_{2}) \neq P D F (X_{1}) + P D F (X_{2})

$PDF(X_{1} + X_{2}) \neq PDF(X_{1}) + PDF(X_{2})$

— Geoff Oxberry,

@dmckee: questa non è una "somma ponderata delle distribuzioni normali", è una "miscela di distribuzioni normali".

— Neil G,

I commenti di @Barron non sono considerati una parte essenziale della pagina. Dovresti assolutamente modificare la tua risposta per includere l'essenza dei commenti in modo che i lettori che non guardano i commenti non vengano fuorviati.

— David Ketcheson,

Aggiornamento : questa risposta è errata, derivante dalla confusione nella terminologia (vedere la catena di commenti qui sotto per i dettagli); Lo sto solo lasciando come una guida in modo che le persone non ripubblicano questa risposta (oltre a Barron). Si prega di non votare su o giù.

$X_{1} \sim N(\mu_{1}, \sigma_{1}^{2})$ $X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} ~ N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}) .

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2}).$

$w_{1} \in \mathbb{R}$

w_{1} X_{1} ~ N (w_{1} μ_{1}, w_{1}^{2} σ_{1}^{2}) .

$w_{1}X_{1} \sim N(w_{1}\mu_{1}, w_{1}^{2}\sigma_{1}^{2}).$

Usando questi due risultati combinati, quindi

P r (θ | d un' t un') ~ N (Σ_{io = 1}^{K} w_{io} μ_{io}, Σ_{io = 1}^{K} w_{io}^{2} σ_{io}^{2}) .

$Pr(\theta | \rm{data}) \sim N\big(\sum_{i=1}^{k}w_{i}\mu_{i}, \sum_{i=1}^{k}w_{i}^{2}\sigma_{i}^{2}\big).$

Quindi, in questo caso, dovrai solo estrarre campioni da una singola distribuzione, che dovrebbe essere molto più tracciabile.

— Geoff Oxberry
fonte

Questa è la soluzione a un diverso problema che può essere visto dal fatto che la distribuzione originale è multimodale e il tuo suggerimento è monomodale.

— Chris Ferrie,

@ChrisFerrie: ti credo, ma sulla base della notazione, sono confuso sul perché la distribuzione sopra sarebbe multimodale, mentre la somma di due variabili casuali gaussiane indipendenti non lo sarebbe. Cosa mi sto perdendo qui?

— Geoff Oxberry,

p (X_{1} + X_{2}) \neq p (X_{1}) + p (X_{2})

$p(X_1 + X_2)\ne p(X_1) + p(X_2)$

i

$i$

Ah, stai guardando somme di PDF. Sì, quella è una bestia completamente diversa. Ora che ho letto la domanda più da vicino, vedo quello che stai dicendo e cancellerò la mia risposta. Grazie!

— Geoff Oxberry,

Ho cancellato la mia risposta precedentemente cancellata solo per fungere da guida per gli altri in modo che nessun altro risponda a questa domanda come Barron e io. Ti preghiamo di non votare più o meno la mia risposta.

— Geoff Oxberry,