Errore standard di calcolo nella stima media ponderata

Supponiamo che $w_1,w_2,\ldots,w_n$ e $x_1,x_2,...,x_n$ sono ciascuno tratte IID da alcune distribuzioni, con $w_i$ indipendente da $x_i$ . Il $w_i$ sono strettamente positiva. Si osserva tutto il $w_i$ , ma non il ; piuttosto osservi . Sono interessato a stimare $x_i$ $\sum_i x_i w_i$ $\operatorname{E}\left[x\right]$ da queste informazioni. Chiaramente lo stimatore è imparziale e può essere calcolato alla luce delle informazioni a portata di mano.

\bar{x} = \frac{\sum_{i} w_{i} x_{i}}{\sum_{i} w_{i}}

$\bar{x} = \frac{\sum_i w_i x_i}{\sum_i w_i}$

Come potrei calcolare l'errore standard di questo stimatore? Nel sotto-caso in cui accetta solo i valori 0 e 1, ho provato ingenuamente sostanzialmente ignorando la variabilità nella , ma ha scoperto che questo ha funzionato male per campioni di dimensioni inferiori a circa 250. (E questo probabilmente dipende dalla varianza della .) Sembra che forse non ho abbastanza informazioni per calcolare un errore standard "migliore". $x_i$

s e \approx \frac{\sqrt{\bar{x} (1 - \bar{x}) \sum_{i} w_{i}^{2}}}{\sum_{i} w_{i}},

$se \approx \frac{\sqrt{\bar{x}(1-\bar{x})\sum_i w_i^2}}{\sum_i w_i},$

w_{i}

$w_i$

w_{i}

$w_i$

standard-error weighted-mean

— shabbychef
fonte

Risposte:

Di recente ho riscontrato lo stesso problema. Quello che ho trovato è il seguente:

A differenza di un semplice campione casuale con pesi uguali, non esiste una definizione ampiamente accettata di errore standard della media ponderata . In questi giorni, sarebbe semplice fare un bootstrap e ottenere la distribuzione empirica della media, e sulla base di quella stima dell'errore standard.

E se si volesse usare una formula per fare questa stima?

Il riferimento principale è questo articolo , di Donald F. Gatz e Luther Smith, in cui 3 stimatori basati su formule vengono confrontati con i risultati bootstrap. La migliore approssimazione al risultato bootstrap viene da Cochran (1977):

$(SEM_w)^2={\dfrac{n}{(n-1)(\sum {P_i})^2}}[\sum (P_i X_i-\bar{P}\bar{X}_w)^2-2 \bar{X}_w \sum (P_i-\bar{P})(P_i X_i-\bar{P}\bar{X}_w)+\bar{X}^2_w \sum (P_i-\bar{P})^2]$

Il seguente è il codice R corrispondente fornita da questo thread R listserve .

weighted.var.se <- function(x, w, na.rm=FALSE)
#  Computes the variance of a weighted mean following Cochran 1977 definition
{
  if (na.rm) { w <- w[i <- !is.na(x)]; x <- x[i] }
  n = length(w)
  xWbar = weighted.mean(x,w,na.rm=na.rm)
  wbar = mean(w)
  out = n/((n-1)*sum(w)^2)*(sum((w*x-wbar*xWbar)^2)-2*xWbar*sum((w-wbar)*(w*x-wbar*xWbar))+xWbar^2*sum((w-wbar)^2))
  return(out)
}

Spero che sia di aiuto!

— Ming K
fonte

Questo è piuttosto bello, ma per il mio problema non osservo nemmeno la

, piuttosto osservo la somma

. La mia domanda è molto strana perché comporta una certa asimmetria informativa (una terza parte sta segnalando la somma e sta forse cercando di nascondere alcune informazioni).

P_{i} X_{i}

$P_iX_i$

\sum_{i} P_{i} X_{i}

$\sum_i P_iX_i$

— Shabbychef,

Accidenti hai ragione, scusa se non ho compreso appieno la domanda che hai posto. Supponiamo di bollire il problema verso il basso per il caso più semplice in cui tutti i

sono Bernoulli RV. Quindi stai essenzialmente osservando la somma di un sottoinsieme casuale di

camper. Suppongo che qui non ci siano molte informazioni da stimare. Quindi cosa hai fatto per il tuo problema originale?

w_{i}

$w_i$

n

$n$

— Ming K,

@ Ming-ChihKao questa formula di cochran è interessante ma se costruisci un intervallo di confidenza fuori da questo quando i dati non sono normali non c'è un'interpretazione coerente corretta? Come gestiresti gli intervalli di confidenza media ponderati non normali? Quantili ponderati?

— user3022875

Penso che ci sia un errore con la funzione. Se si sostituisce w=rep(1, length(x)), allora weighted.var.se(rnorm(50), rep(1, 50))è circa 0.014. Penso che manchi la formula a sum(w^2)nel numeratore, da quando P=1la varianza è 1/(n*(n-1)) * sum((x-xbar)^2). Non riesco a controllare l'articolo citato in quanto è dietro un paywall, ma penso che la correzione. Stranamente, la (diversa) soluzione di Wikipedia diventa degenerata quando tutti i pesi sono uguali: en.wikipedia.org/wiki/… .

— Max Candocia,

Questi potrebbero funzionare meglio in generale: analyticalgroup.com/download/WEIGHTED_MEAN.pdf

— Max Candocia,

La varianza della stima dato il è $w_i$ Perché la vostra stima è imparziale per qualsiasi, la varianza della sua media condizionale è pari a zero. Quindi, la varianza della tua stima è

\frac{\sum w_{i}^{2} V a r (X)}{(\sum w_{i})^{2}} = V a r (X) \frac{\sum w_{i}^{2}}{(\sum w_{i})^{2}} .

$\frac{\sum w_i^2 Var(X)}{(\sum w_i)^2} = Var(X) \frac{\sum w_i^2 }{(\sum w_i)^2}.$

w_{i}

$w_i$

Con tutti i dati osservati, questo sarebbe facile da stimare empiricamente. Ma con solo una misura della posizione

osservato, e non la loro diffusione, non vedo come sarà possibile ottenere una stima di

, senza fare ipotesi piuttosto gravi.

V a r (X) E (\frac{\sum w_{i}^{2}}{(\sum w_{i})^{2}})

$Var(X) \mathbb{E}\left(\frac{\sum w_i^2 }{(\sum w_i)^2}\right)$

X_{i}

$X_i$

V a r (X)

$Var(X)$

— ospite
fonte

x_{i}

$x_i$

x

$x$

\bar{x} (1 - \bar{x})

$\bar{x}(1-\bar{x})$