Come calcolare la varianza aggregata di due o più gruppi dati le varianze, le medie e le dimensioni del campione conosciute?

Supponiamo che ci siano elementi divisi in due gruppi ( e ). La varianza del primo gruppo è e la varianza del secondo gruppo è . Si presume che gli elementi stessi siano sconosciuti, ma conosco i mezzi e . $m+n$ $m$ $n$ $\sigma_m^2$ $\sigma^2_n$ $\mu_m$ $\mu_n$

C'è un modo per calcolare la varianza combinata ? $\sigma^2_{(m+n)}$

La varianza non deve essere imparziale, quindi il denominatore è e non . $(m+n)$ $(m+n-1)$

variance pooling

— user1809989
fonte

Quando dici di conoscere i mezzi e le varianze di questi gruppi, sono parametri o valori di esempio? Se sono mezzi / varianze di esempio non dovresti usare e ...

μ

$\mu$

σ

$\sigma$

— Jonathan Christensen

Ho appena usato i simboli come rappresentazione. Altrimenti, sarebbe stato difficile spiegare il mio problema.

— user1809989

Per i valori di esempio, usiamo solitamente lettere latine (es. e ). Le lettere greche sono generalmente riservate ai parametri. L'uso dei simboli "corretti" (previsti) ti aiuterà a comunicare più chiaramente.

m

$m$

s

$s$

— Jonathan Christensen il

Nessun problema, lo seguirò d'ora in poi! Saluti

— user1809989

@Jonathan Poiché questa non è una domanda su campioni o stime, si può legittimamente ritenere che e siano la vera media e varianza della distribuzione empirica di una serie di dati, giustificando in tal modo l'uso convenzionale del greco lettere piuttosto che lettere latine per fare riferimento a loro.

μ

$\mu$

σ^{2}

$\sigma^2$

— whuber

Risposte:

Usa le definizioni di media

μ_{1 : n} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\mu_{1:n} = \frac{1}{n}\sum_{i=1}^n x_i$

e varianza del campione

σ_{1 : n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(x_{i} - μ_{1 : n})}^{2} = \frac{n - 1}{n} (\frac{1}{n - 1} \sum_{i = 1}^{n} {(x_{i} - μ_{1 : n})}^{2})

$\sigma_{1:n}^2 = \frac{1}{n}\sum_{i=1}^n \left(x_i - \mu_{1:n}\right)^2 = \frac{n-1}{n}\left(\frac{1}{n-1}\sum_{i=1}^n \left(x_i - \mu_{1:n}\right)^2\right)$

(l'ultimo termine tra parentesi è lo stimatore di varianza imparziale spesso calcolato di default nel software statistico) per trovare la somma dei quadrati di tutti i dati . Ordiniamo gli indici modo che designi gli elementi del primo gruppo e designi gli elementi del secondo gruppo. Spezza quella somma di quadrati per gruppo e riesprimi i due pezzi in termini di varianze e mezzi dei sottoinsiemi dei dati: $x_i$ $i$ $i=1,\ldots,n$ $i=n+1,\ldots,n+m$

\begin{aligned} (m + n) (σ_{1 : m + n}^{2} + μ_{1 : m + n}^{2}) & = \sum_{i = 1}^{1 : n + m} x_{i}^{2} \\ = \sum_{i = 1}^{n} x_{i}^{2} + \sum_{i = n + 1}^{n + m} x_{i}^{2} \\ = n (σ_{1 : n}^{2} + μ_{1 : n}^{2}) + m (σ_{1 + n : m + n}^{2} + μ_{1 + n : m + n}^{2}) . \end{aligned}

$\eqalign{ (m+n)(\sigma^2_{1:m+n} + \mu_{1:m+n}^2) &= \sum_{i=1}^{1:n+m} x_i^2 \\ &= \sum_{i=1}^n x_i^2 + \sum_{i=n+1}^{n+m} x_i^2 \\ &= n(\sigma^2_{1:n} + \mu_{1:n}^2) + m(\sigma^2_{1+n:m+n} + \mu_{1+n:m+n}^2). }$

Algebricamente risolvendolo per in termini di altri rendimenti di quantità (conosciuti) $\sigma^2_{m+n}$

σ_{1 : m + n}^{2} = \frac{n (σ_{1 : n}^{2} + μ_{1 : n}^{2}) + m (σ_{1 + n : m + n}^{2} + μ_{1 + n : m + n}^{2})}{m + n} - μ_{1 : m + n}^{2} .

$\sigma^2_{1:m+n} = \frac{n(\sigma^2_{1:n} + \mu_{1:n}^2) + m(\sigma^2_{1+n:m+n} + \mu_{1+n:m+n}^2)}{m+n} - \mu^2_{1:m+n}.$

Naturalmente, utilizzando lo stesso approccio, può essere espresso in termini di gruppo significa anche. $\mu_{1:m+n} = (n\mu_{1:n} + m\mu_{1+n:m+n})/(m+n)$

Un collaboratore anonimo sottolinea che quando le medie del campione sono uguali (in modo che ), la soluzione per è una media ponderata delle varianze del campione di gruppo. $\mu_{1:n}=\mu_{1+n:m+n}=\mu_{1:m+n}$ $\sigma^2_{m+n}$

— whuber
fonte

Il tag "compiti a casa" non significa che la domanda sia elementare o stupida: viene utilizzata per domande di studio autonomo che possono anche includere query a livello di ricerca. Distingue le domande di routine, più o meno senza contesto (del tipo che potrebbe normalmente abbellire il forum di matematica) da domande specifiche applicate.

— whuber

Non riesco a capire il tuo primo passaggio: In in particolare ottengo che richiede Mi manca qualcosa? Potresti spiegarlo per favore?

n (σ^{2} + μ^{2}) = \sum (x - μ)^{2} + n μ^{2} \overset{?}{=} \sum x^{2}

$n(\sigma^2+\mu^2) = \sum (x - \mu)^2 + n\mu^2 \stackrel{?}{=} \sum x^2$

\sum [(x - μ)^{2} + μ^{2}] = \sum [x^{2} - 2 x μ]

$\sum [(x-\mu)^2+\mu^2] = \sum [x^2-2x\mu]$

μ = 0

$\mu = 0$

— DarioP

@Dario

\sum (x - μ)^{2} + n μ^{2} = (\sum x^{2} - 2 μ \sum x + n μ^{2}) + n μ^{2} = \sum x^{2} - 2 n μ^{2} + 2 n μ^{2} = \sum x^{2} .

$\sum(x-\mu)^2+n\mu^2=(\sum x^2 - 2\mu\sum x + n \mu^2)+n\mu^2 = \sum x^2 - 2n\mu^2 + 2n\mu^2 = \sum x^2.$

— whuber

Oh sì, ho fatto uno stupido errore di segno nella mia derivazione, ora è chiaro, grazie !!

— DarioP

Immagino che questo possa essere esteso a un numero arbitrario di campioni purché tu abbia la media e la varianza per ciascuno. Calcolo pool (orientato) deviazione standard R è semplicemente sqrt(weighted.mean(u^2 + rho^2, n) - weighted.mean(u, n)^2)dove n, ue rhosono vettori di uguale lunghezza. Ad esempio n=c(10, 14, 9)per tre campioni.

— Jonas Lindeløv,

In questa risposta userò la notazione standard per medie campionarie e varianze campionarie, piuttosto che la notazione usata nella domanda. Usando la notazione standard, in O'Neill (2014) (Risultato 1) è possibile trovare un'altra formula per la varianza campionaria in pool di due gruppi :

\begin{aligned} s_{pooled}^{2} & = \frac{1}{n_{1} + n_{2} - 1} [(n_{1} - 1) s_{1}^{2} + (n_{2} - 1) s_{2}^{2} + \frac{n_{1} n_{2}}{n_{1} + n_{2}} ({\bar{x}}_{1} - {\bar{x}}_{2})^{2}] . \end{aligned}

$\begin{equation} \begin{aligned} s_\text{pooled}^2 &= \frac{1}{n_1+n_2-1} \Bigg[ (n_1-1) s_1^2 + (n_2-1) s_2^2 + \frac{n_1 n_2}{n_1+n_2} (\bar{x}_1 - \bar{x}_2)^2 \Bigg]. \\[10pt] \end{aligned} \end{equation}$

Questa formula funziona direttamente con le medie campionarie sottostanti e le varianze campionarie dei due sottogruppi e non richiede il calcolo intermedio della media campionaria raggruppata. (Prova del risultato in un documento collegato.)

— Ripristina Monica
fonte

-3

Sì, data la media, il conteggio dei campioni e la varianza o la deviazione standard di ciascuno di due o più gruppi di campioni, è possibile calcolare esattamente la varianza o la deviazione standard del gruppo combinato.

Questa pagina web descrive come farlo e perché funziona; include anche il codice sorgente in Perl: http://www.burtonsys.com/climate/composite_standard_deviations.html

A proposito, contrariamente alla risposta di cui sopra,

\begin{aligned} n (σ^{2} + μ^{2}) \neq \sum_{i = 1}^{n} x_{i}^{2} \end{aligned}

$\eqalign{ n(\sigma^2 + \mu^2) \space\space \ne \space\space \sum_{i=1}^n x_i^2 }$

Guarda tu stesso, ad es. In R:

> x = rnorm (10,5,2)
> x
 [1] 6.515139 8.273285 2.879483 3.624233 6.199610 3.683164 4.921028 8.084591
 [9] 2.974520 6.049962
> media (x)
[1] 5.320502
> sd (x)
[1] 2.007519
> somma (x ** 2)
[1] 319.3486
> 10 * (media (x) ** 2 + sd (x) ** 2)
[1] 323.3787

— Dave Burton
fonte

è perché hai dimenticato il fattore n-1, ad esempio prova con n * (media (x) ** 2 + sd (x) ** 2 / (n) * (n-1))

— user603

user603, di che diavolo stai parlando?

— Dave Burton,

Rsd(c(-1,1))1.4142141sqrt(9/10)*sd(x)sd(x)

σ

$\sigma$

μ

$\mu$ n <- 10; x <- rnorm(n,5,2); m <- mean(x); s <- sd(x) * sqrt((n-1)/n); m2 <- sum(x^2); c(lhs=n * (m^2 + s^2), rhs=m2)