Correzione di polarizzazione nella varianza ponderata

Per la varianza non ponderata esiste la varianza del campione corretta per il bias, quando la media è stata stimata dagli stessi dati:

Var (X) := \frac{1}{n} \sum_{i} (x_{i} - μ)^{2}

$\text{Var}(X):=\frac{1}{n}\sum_i(x_i - \mu)^2$

Var (X) := \frac{1}{n - 1} \sum_{i} (x_{i} - E [X])^{2}

$\text{Var}(X):=\frac{1}{n-1}\sum_i(x_i - E[X])^2$

Sto esaminando la media ponderata e la varianza e mi chiedo quale sia la correzione del bias appropriata per la varianza ponderata. Utilizzando:

mean (X) : = \frac{1}{\underset{io}{Σ} ω_{io}} \underset{io}{Σ} ω_{io} X_{io}

$\text{mean}(X):=\frac{1}{\sum_i \omega_i}\sum_i \omega_i x_i$

La varianza "ingenua" e non corretta che sto usando è questa:

Var (X) : = \frac{1}{\underset{io}{Σ} ω_{io}} \underset{io}{Σ} ω_{io} (X_{io} - significare (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

Quindi mi chiedo se sia il modo corretto di correggere la distorsione

Var (X) : = \frac{1}{\underset{io}{Σ} ω_{io} - 1} \underset{io}{Σ} ω_{io} (X_{io} - significare (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i - 1}\sum_i\omega_i(x_i - \text{mean}(X))^2$

oppure B)

Var (X) : = \frac{n}{n - 1} \frac{1}{\underset{io}{Σ} ω_{io}} \underset{io}{Σ} ω_{io} (X_{io} - significare (X))^{2}

$\text{Var}(X):=\frac{n}{n-1}\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

oppure C)

Var (X) : = \frac{\underset{io}{Σ} ω_{io}}{(\underset{io}{Σ} ω_{io})^{2} - \underset{io}{Σ} ω_{io}^{2}} \underset{io}{Σ} ω_{io} (X_{io} - significare (X))^{2}

$\text{Var}(X):=\frac{\sum_i \omega_i}{(\sum_i \omega_i)^2-\sum_i \omega_i^ 2}\sum_i\omega_i(x_i - \text{mean}(X))^2$

A) non ha senso per me quando i pesi sono piccoli. Il valore di normalizzazione potrebbe essere 0 o addirittura negativo. Ma che dire di B) ( è il numero di osservazioni): è questo l'approccio corretto? Hai qualche riferimento che mostra questo? Credo che "L'aggiornamento delle stime di media e varianza: un metodo migliorato", DHD West, 1979 lo usa. Il terzo, C) è la mia interpretazione della risposta a questa domanda: /mathpro/22203/unbiased-estimate-of-the-variance-of-an-unnormalised-weighted-mean $n$

Per C) mi sono appena reso conto che il denominatore assomiglia molto a $\text{Var}(\Omega)$ . C'è qualche connessione generale qui? Penso che non si allinea completamente; e ovviamente c'è la connessione che stiamo cercando di calcolare la varianza ...

Tutti e tre sembrano "sopravvivere" al controllo di dell'impostazione di . Quindi quale dovrei usare, in quali locali? '' Aggiornamento: '' whuber ha suggerito di fare anche il controllo di integrità con e tutti i rimanenti tiny. Questo sembra escludere A e B. $\omega_i=1$ $\omega_1=\omega_2=.5$ $\omega_i=\epsilon$

— Anony-Mousse
fonte

Quando si considerano i casi in cui i due pesi più grandi sono uguali e tutto il resto diventa evanescente, entrambi (A) e (B) cadono dalla contesa (perché non sono d'accordo con i risultati noti per ). (C) sembra essere un'approssimazione; Sospetto che il fattore corretto sia una funzione molto più complicata dei pesi.

n = 2

$n=2$

— whuber

@whuber ThePawn di seguito suggerisce che è C. Hai dubbi più dettagliati?

— Anony-Mousse,

La soluzione (A) funziona, l'ho implementata in passato e posso confermare dai test empirici che fornisce i risultati corretti. Tuttavia, è necessario utilizzare solo valori interi per i pesi e> 0.

— gaborous

Grazie! Questo mi ha aiutato molto a prendere la strada giusta quando i pesi sono per una media mobile esponenziale! Si scopre che il modo ingenuo di calcolare la varianza in realtà lo sovrastima di un fattore costante di 2, oltre alla piccola correzione (1-1 / n) che si presenta in modo analogo al semplice calcolo della media mobile. È un caso speciale particolarmente folle!

— saolof

Risposte:

Ho passato la matematica e ho finito con la variante C:

dove è la stima della varianza non corretta. La formula concorda con il caso non ponderato quando tuttisono identici. Nel dettaglio la prova di seguito:

V un' r (X) = \frac{(\underset{io}{Σ} ω_{io})^{2}}{(\underset{io}{Σ} ω_{io})^{2} - \underset{io}{Σ} ω_{io}^{2}} \bar{V}

$Var(X) = \frac{(\sum_i \omega_i)^2}{(\sum_i \omega_i)^2 - \sum_i \omega_i^2}\overline V$

\bar{V}

$\overline V$

ω_{i}

$\omega_i$

Impostazione $\lambda_i = \frac{\omega_i}{\sum_i \omega_i}$

\bar{V} = \underset{io}{Σ} λ_{io} (X_{io} - \underset{j}{Σ} λ_{j} X_{j})^{2}

$\overline V = \sum_i \lambda_i (x_i - \sum_j \lambda_j x_j)^2$

(X_{io} - \underset{j}{Σ} λ_{j} X_{j})^{2} = X_{io}^{2} + \underset{j, K}{Σ} λ_{j} λ_{K} X_{j} X_{K} - 2 \underset{j}{Σ} λ_{j} X_{io} X_{j}

$(x_i - \sum_j \lambda_j x_j)^2 = x_i^2 + \sum_{j, k} \lambda_j \lambda_k x_j x_k - 2 \sum_j \lambda_j x_i x_j$

$E[x_i x_j] = Var(X)1_{i = j} + E[X]^2$ $E[X]$

E [\bar{V}] = V un' r (X) \underset{io}{Σ} λ_{io} (1 + \underset{j}{Σ} λ_{j}^{2} - 2 λ_{io})

$E[\overline V] = Var(X) \sum_i \lambda_i (1 + \sum_j \lambda_j^2- 2 \lambda_i )$

E [\bar{V}] = V a r (X) (1 - \sum_{j} λ_{j}^{2})

$E[\overline V] = Var(X) (1 - \sum_j \lambda_j^2)$

λ_{i}

$\lambda_i$

ω_{i}

$\omega_i$

— ThePawn
fonte

Questa è la variante C sopra, vero?

— Anony-Mousse

Oups, sì, è la variante C.

— ThePawn

Ho verificato empiricamente questa soluzione e NON funziona ... L'unica cosa che fa è la soluzione (A) che ho implementato anche in passato da solo, ma funziona solo con pesi che sono numeri interi e> = 0

— gaborosa

Questa equazione è sbagliata secondo Wikipedia, Matlab, R e altri che stanno implementando questa equazione. Il numeratore qui è quadrato, ma NON dovrebbe, dovrebbe essere proprio come la (C) proposta dall'OP. Vedi en.wikipedia.org/wiki/…

— gaborous

@rajatkhanduja Non stavo parlando della dimostrazione ma dell'equazione derivata finale (la prima in questa risposta). Ma in effetti è corretto, il numeratore è appena quadrato perché moltiplichiamo per V, quindi il numeratore finisce per non essere quadrato. Comunque, questo stimatore rimane distorto come spiego nella mia risposta di seguito poiché si basa su pesi di tipo "affidabilità".

— Gaborous,

Sia A che C sono corretti, ma quale userete dipende dal tipo di pesi che utilizzate:

A ha bisogno di usare pesi di tipo "ripeti" (numeri interi che contano il numero di occorrenze per ciascuna osservazione) ed è imparziale .
C ha bisogno di usare "affidabilità" pesi -tipo (pesi sia normalizzato o sia varianze per ogni osservazione), ed è polarizzato . Non può essere imparziale.

Il motivo per cui C è necessariamente distorto è perché se non si utilizzano pesi di tipo "ripeti", si perde la capacità di contare il numero totale di osservazioni (dimensione del campione) e quindi non è possibile utilizzare un fattore di correzione.

Per maggiori informazioni, consulta l'articolo di Wikipedia che è stato aggiornato di recente: http://it.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

— gaborous
fonte