Qual è la varianza della miscela ponderata di due gaussiani?

Supponiamo che io abbia due distribuzioni normali A e B con mezzi e e varianze e . Voglio prendere una miscela ponderata di questi due distribuzioni utilizzando pesi e dove e . So che la media di questa miscela sarebbe . $\mu_A$ $\mu_B$ $\sigma_A$ $\sigma_B$ $p$ $q$ $0\le p \le 1$ $q = 1-p$ $\mu_{AB} = (p\times\mu_A) + (q\times\mu_B)$

Quale sarebbe la varianza?

Un esempio concreto sarebbe se conoscessi i parametri per la distribuzione dell'altezza maschile e femminile. Se avessi una stanza di persone con il 60% di sesso maschile, potrei produrre l'altezza media prevista per l'intera stanza, ma per quanto riguarda la varianza?

normal-distribution mixture

— JoFrhwld
fonte

Ri terminologia: la miscela ha semplicemente una media e una varianza; non ha senso qualificarli come "previsti", a meno che tu non stia forse suggerendo che e dovrebbero essere considerati variabili casuali.

p

$p$

q

$q$

— whuber

So che la miscela di due distribuzioni gaussiane è identificabile. Ma se le due distribuzioni hanno gli stessi eman? Vale a dire: è identificabile la miscela di due distribuzioni normali con gli stessi mezzi e diverse deviazioni standard? Ci sono documenti in questo contesto? Grazie in anticipo

C'è una domanda simile con le risposte (che si occupano anche delle COVARIANCES) qui: math.stackexchange.com/q/195911/96547

— hplieninger

La varianza è il secondo momento meno il quadrato del primo momento, quindi è sufficiente calcolare i momenti delle miscele.

In generale, date le distribuzioni con PDF e pesi costanti (non casuali) , il PDF della miscela è $f_i$ $p_i$

f (x) = \sum_{i} p_{i} f_{i} (x),

$f(x) = \sum_i{p_i f_i(x)},$

da cui segue immediatamente per qualsiasi momento quello $k$

μ^{(K)} = E_{f} [x^{k}] = \sum_{i} p_{i} E_{f_{i}} [x^{k}] = \sum_{i} p_{i} μ_{i}^{(k)} .

$\mu^{(k)} = \mathbb{E}_{f}[x^k] = \sum_i{p_i \mathbb{E}_{f_i}[x^k]} = \sum_i{p_i \mu_i^{(k)}}.$

Ho scritto per il momento di e per il momento di . $\mu^{(k)}$ $k^{th}$ $f$ $\mu_i^{(k)}$ $k^{th}$ $f_i$

Usando queste formule, la varianza può essere scritta

Var (f) = μ^{(2)} - {(μ^{(1)})}^{2} = \sum_{i} p_{i} μ_{i}^{(2)} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} .

$\text{Var}(f) = \mu^{(2)} - \left(\mu^{(1)}\right)^2 = \sum_i{p_i \mu_i^{(2)}} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2.$

Equivalentemente, se le varianze di sono date come , allora , consentendo alla varianza della miscela di essere scritta in termini di varianze e mezzi dei suoi componenti come $f_i$ $\sigma^2_i$ $\mu^{(2)}_i = \sigma^2_i + \left(\mu^{(1)}_i\right)^2$ $f$

\begin{aligned} Var (f) & = \sum_{i} p_{i} (σ_{i}^{2} + {(μ_{i}^{(1)})}^{2}) - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} \\ = \sum_{i} p_{i} σ_{i}^{2} + \sum_{i} p_{i} {(μ_{i}^{(1)})}^{2} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} . \end{aligned}

$\eqalign{ \text{Var}(f) &= \sum_i{p_i \left(\sigma^2_i + \left(\mu^{(1)}_i\right)^2\right)} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2 \\ &= \sum_i{p_i \sigma^2_i} + \sum_i{p_i\left(\mu_i^{(1)}\right)^2} - \left(\sum_{i}{p_i \mu_i^{(1)}}\right)^2. }$

In parole, questa è la varianza media (ponderata) più la media quadrata media meno il quadrato della media media. Poiché la quadratura è una funzione convessa, la disuguaglianza di Jensen afferma che la media quadrata media non può essere inferiore al quadrato della media media. Questo ci consente di comprendere la formula in quanto affermando che la varianza della miscela è la miscela delle varianze più un termine non negativo che tiene conto della dispersione (ponderata) dei mezzi.

Nel tuo caso la varianza è

p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + [p_{A} μ_{A}^{2} + p_{B} μ_{B}^{2} - (p_{A} μ_{A} + p_{B} μ_{B})^{2}] .

$p_A \sigma_A^2 + p_B \sigma_B^2 + \left[p_A\mu_A^2 + p_B\mu_B^2 - (p_A \mu_A + p_B \mu_B)^2\right].$

Possiamo interpretare che questa è una miscela ponderata delle due varianze, , più un termine di correzione (necessariamente positivo) per tenere conto degli spostamenti dai singoli mezzi rispetto alla media complessiva della miscela. $p_A\sigma_A^2 + p_B\sigma_B^2$

L'utilità di questa varianza nell'interpretazione dei dati, come quella fornita nella domanda, è dubbia, perché la distribuzione della miscela non sarà normale (e potrebbe discostarsi sostanzialmente da essa, nella misura in cui esibisce la bimodalità).

— whuber
fonte

p_{A} + p_{B} = 1

$p_A+p_B=1$

σ^{2} = μ^{(2)} - μ^{2} = p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + p_{A} p_{B} (μ_{A} - μ_{B})^{2}

$\sigma^2=\mu^{(2)}-\mu^2=p_A\sigma_A^2+p_B\sigma_B^2+p_Ap_B(\mu_A-\mu_B)^2$

A

$A$

p_{A}

$p_A$

X

$X$

A

$A$

N (μ_{A}, σ_{A}^{2})

$N(\mu_A,\sigma_A^2)$

X

$X$

A^{c} = B

$A^c = B$

N (μ_{B}, σ_{B}^{2})

$N(\mu_B,\sigma_B^2)$

(X)

$(X)$

Y

$Y$

μ_{A}, μ_{B}

$\mu_A, \mu_B$

p

$p$

q

$q$

E [Y^{2}] - (E [Y])^{2}

$E[Y^2]-(E[Y])^2$ .

— Dilip Sarwate,

@Neodyme Per definizione, la varianza è il secondo momento meno la media al quadrato. Pertanto, il secondo momento è la varianza più il quadrato medio.

— whuber

@Neodyme use

E (X) = μ

$E(X)=\mu$ .

— whuber

@Kiran Anche se in alcuni casi la miscela potrebbe sembrare normale, non lo sarà. Un modo per vedere questo è calcolare la sua curtosi in eccesso usando le formule fornite qui. Sarà diverso da zero a meno che tutte le deviazioni standard non siano uguali, nel qual caso la "miscela" non è in realtà una miscela in primo luogo.

— whuber