Varianza ponderata, ancora una volta

La varianza ponderata senza paragoni era già stata affrontata qui e altrove, ma sembra esserci ancora una sorprendente quantità di confusione. Sembra esserci un consenso sulla formula presentata nel primo link e nell'articolo di Wikipedia . Questa sembra anche la formula usata da R, Mathematica e GSL (ma non MATLAB). Tuttavia, l'articolo di Wikipedia contiene anche la seguente riga che sembra un ottimo controllo di integrità per un'implementazione della varianza ponderata:

Ad esempio, se i valori {2,2,4,5,5,5} sono tratti dalla stessa distribuzione, allora possiamo considerare questo set come un campione non ponderato o possiamo trattarlo come un campione ponderato {2,4, 5} con pesi corrispondenti {2,1,3} e dovremmo ottenere gli stessi risultati.

I miei calcoli danno il valore di 2.1667 per la varianza dei valori originali e 2.9545 per la varianza ponderata. Dovrei davvero aspettarmi che siano uguali? Perché o perché no?

Sì, dovresti aspettarti che entrambi gli esempi (non ponderato vs ponderato) forniscano gli stessi risultati.

Ho implementato i due algoritmi dall'articolo di Wikipedia.

Questo funziona:

Se tutti i $x_i$ sono tratte dalla stessa distribuzione ei pesi interi $w_i$ indico frequenza di occorrenza nel campione, allora lo stimatore della varianza popolazione ponderata è dato da:

$s^2\ = \frac {1} {V_1 - 1} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2,$

Tuttavia questo (usando pesi frazionari) non funziona per me:

$x_i$$1/w_i$

$s^2\ = \frac {V_1} {V_1^2-V_2} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2$

Sto ancora studiando i motivi per cui la seconda equazione non funziona come previsto.

/ EDIT: trovato il motivo per cui la seconda equazione non ha funzionato come pensavo: puoi usare la seconda equazione solo se hai pesi normalizzati o varianza ("affidabilità") e NON è imparziale, perché se non lo fai usa i pesi "ripeti" (contando il numero di volte in cui un'osservazione è stata osservata e quindi dovrebbe essere ripetuta nelle tue operazioni matematiche), perdi la capacità di contare il numero totale di osservazioni e quindi non puoi usare un fattore di correzione.

Questo spiega la differenza nei risultati usando la varianza ponderata e non ponderata: il tuo calcolo è distorto.

Pertanto, se si desidera avere una varianza ponderata imparziale, utilizzare solo pesi di "ripetizione" e utilizzare la prima equazione che ho pubblicato sopra. Se ciò non è possibile, beh, non puoi evitarlo.

Ho anche aggiornato l'articolo di Wikipedia se vuoi maggiori informazioni: http://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

E un articolo collegato sulla covarianza ponderata imparziale (che in effetti è la stessa varianza dovuta all'identità di polarizzazione ): equazione corretta per la covarianza ponderata di campione imparziale