Determinazione della media vera dalle osservazioni rumorose


13

Ho un ampio set di punti dati del modulo (media, stdev). Vorrei ridurre questo a una media (migliore) e una deviazione standard (si spera) più piccola.

Chiaramente potrei semplicemente calcolare , tuttavia ciò non tiene conto del fatto che alcuni dei punti dati sono significativamente più accurati di altri.datameanN

Per dirla semplicemente, desidero preformare una media ponderata di questi punti dati, ma non so quale dovrebbe essere la funzione di ponderazione in termini di deviazione standard.

Risposte:


24

Cerchi uno stimatore lineare per la media μ del modulo

μ^=i=1nαixi

dove sono i pesi e x i sono le osservazioni. L'obiettivo è trovare valori adeguati per i pesi. Sia σ i la vera deviazione standard di x i , che potrebbe o meno coincidere con la deviazione standard stimata che probabilmente si ha. Supponiamo che le osservazioni siano imparziali; cioè, le loro aspettative sono tutte uguali alla media μ . In questi termini si può calcolare che l'aspettativa di μ èαixiσixiμμ^

E[μ^]=i=1nαiE[xi]=μi=1nαi

e (purché la non sia correlata) la varianza di questo stimatore èxi

Var[μ^]=i=1nαi2σi2.

A questo punto molte persone richiedono che lo stimatore sia imparziale; cioè, vogliamo che la sua aspettativa sia uguale alla media vera. Ciò implica che i pesi devono riassumere in unità. Fatta salva questa limitazione, l'accuratezza dello stimatore (misurata con errore quadratico medio) è ottimizzata minimizzando la varianza. La soluzione unica (facilmente ottenibile con un moltiplicatore di Lagrange o reinterpretando geometricamente la situazione come un problema di minimizzazione della distanza) è che i pesi devono essere proporzionali a 1 / σ 2 i . αi1/σi2 La restrizione somma-unità fissa i loro valori, cedendo

μ^=i=1nxi/σi2i=1n1/σi2

e

Var[μ^]=1i=1n1/σi2=1n(1ni=1n1σi2)1.

In parole,

lo stimatore imparziale a varianza minima della media si ottiene rendendo i pesi inversamente proporzionali alle varianze; la varianza di quello stimatore è volte la media armonica delle varianze.1/n

Di solito non conosciamo le variazioni reali . Tutto ciò che possiamo fare è rendere i pesi inversamente proporzionali alle varianze stimate (i quadrati delle vostre deviazioni standard) e confidare che funzionerà bene.σi


1
e relativo a questa risposta, anche da whuber: stats.stackexchange.com/questions/9071/…
Henry,

xi
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.