Relazione tra somma di camper gaussiani e miscela gaussiana

13

So che una somma di gaussiani è gaussiana. Quindi, in che cosa differisce un miscuglio di gaussiani?

Voglio dire, una miscela di gaussiani è solo una somma di gaussiani (dove ogni gaussiano è moltiplicato per il rispettivo coefficiente di miscelazione) giusto?

— njk
fonte

7

Una miscela di gaussiani è una somma ponderata di densità gaussiane , non una somma ponderata di variabili casuali gaussiane.

— probabilityislogic

7

Una somma ponderata delle variabili casuali gaussiane è una variabile casuale gaussiana : se quindi $X_1,\ldots,X_p$

\sum_{i = 1}^{p} β_{i} X_{i}

$\sum_{i=1}^p \beta_i X_i$

(X_{1}, \dots, X_{p}) \sim N_{p} (μ, Σ)

$(X_1,\ldots,X_p)\sim\text{N}_p(\mu,\Sigma)$

β^{T} (X_{1}, \dots, X_{p}) \sim N_{1} (β^{T} μ, β^{T} Σ β)

$\beta^\text{T}(X_1,\ldots,X_p)\sim\text{N}_1(\beta^\text{T}\mu,\beta^\text{T}\Sigma\beta)$

Una miscela di densità gaussiane ha una densità data come somma ponderata delle densità gaussiane : che è quasi invariabilmente non uguale a un gaussiano densità. Vedere ad esempio la densità della miscela stimata in blu di seguito (dove la banda gialla è una misura della variabilità della miscela stimata):

f (\cdot; θ) = \sum_{i = 1}^{p} ω_{i} φ (\cdot; μ_{i}, σ_{i})

$f(\cdot;\theta)=\sum_{i=1}^p \omega_i \varphi(\cdot;\mu_i,\sigma_i)$ inserisci qui la descrizione dell'immagine

[Fonte: Marin e Robert, Bayesian Core , 2007]

$X\sim f(\cdot;\theta)$

X = \sum_{i = 1}^{p} I (Z = i) X_{i} = X_{Z}

$X=\sum_{i=1}^p \mathbb{I}(Z=i) X_i = X_{Z}$

X_{i} \sim N_{p} (μ_{i}, σ_{i})

$X_i\sim\text{N}_p(\mu_i,\sigma_i)$

Z

$Z$

P (Z = i) = ω_{i}

$\mathbb{P}(Z=i)=\omega_i$

Z \sim M (1; ω_{1}, \dots, ω_{p})

$Z\sim\text{M}(1;\omega_1,\ldots,\omega_p)$

— Xi'an
fonte

3

Ed ecco un codice R per completare la risposta @ Xi'an:

par(mfrow=c(2,1))
nsamples <- 100000

# Sum of two Gaussians
x1 <- rnorm(nsamples, mean=-10, sd=1)
x2 <- rnorm(nsamples, mean=10, sd=1)
hist(x1+x2, breaks=100)

# Mixture of two Gaussians
z <- runif(nsamples)<0.5 # assume mixture coefficients are (0.5,0.5)
x1_x2 <- rnorm(nsamples,mean=ifelse(z,-10,10),sd=1)
hist(x1_x2,breaks=100)

inserisci qui la descrizione dell'immagine

— alberto
fonte

1

La distribuzione della somma di variabili casuali indipendenti è la convoluzione delle loro distribuzioni. Come hai notato, la convoluzione di due gaussiani sembra essere gaussiana.

$X,Y$ $Z$ $X$ $Y$ $Z=X$ $Z=Y$

— enthdegree
fonte

Grazie enthdegree. So che il seguente esempio è intrinsecamente sbagliato, ma potrebbe essere comunque interessante: diciamo che abbiamo un tipo speciale di "miscela" (se possiamo ancora chiamarlo "miscela") di 2 densità gaussiane, dove i coefficienti di miscelazione sono entrambi corrispondenti a 1, sarebbe lo stesso di una somma di camper gaussiani?

— njk,

No, anche se in questo caso la tua miscela di camper sarà gaussiana, se dovessi aggiungere due camper con la distribuzione del componente, la somma di camper avrebbe una varianza maggiore rispetto alla miscela di camper.

— enthdegree

@enthdegree Come è la miscela rv gaussiana? Potrebbe essere ancora bimodale se i mezzi non coincidono, giusto?

— imparando il

@learning, Sì, hai ragione. Quando ho scritto il precedente. commento per qualche motivo ho pensato che avessero la stessa media.

— enthdegree,