Altri stimatori imparziali rispetto alla BLUE (soluzione OLS) per i modelli lineari

Per un modello lineare la soluzione OLS fornisce il miglior stimatore lineare imparziale per i parametri.

Naturalmente possiamo scambiare una propensione per una minore varianza, ad esempio la regressione della cresta. Ma la mia domanda è di non avere pregiudizi. Ci sono altri stimatori che sono in qualche modo comunemente usati, che sono imparziali ma con una varianza maggiore rispetto ai parametri stimati OLS?

Se avessi un set di dati enorme potrei ovviamente sotto-campionarlo e stimare i parametri con meno dati e aumentare la varianza. Presumo che questo potrebbe essere ipoteticamente utile.

Questa è più una domanda retorica, perché quando ho letto degli stimatori BLUE, non viene fornita un'alternativa peggiore. Immagino che fornire alternative peggiori potrebbe anche aiutare le persone a comprendere meglio il potere degli stimatori BLUE.

— Gumeo
fonte

Che dire di uno stimatore della massima verosimiglianza? Ad esempio, se ritieni che i tuoi dati siano campionati da una distribuzione

t

$t$ con un parametro di gradi di libertà relativamente bassi (

t (3)

$t(3)$ o

t (4)

$t(4)$ potrebbe essere caratteristico dei rendimenti finanziari), uno stimatore della massima verosimiglianza non coinciderebbe con OLS ma immagino sarebbe comunque imparziale.

— Richard Hardy,

Rilevante: andrewgelman.com/2015/05/11/…

— kjetil b halvorsen

@RichardHardy, ho anche provato l'MLE, con i risultati che hai previsto.

— Christoph Hanck l'

Un esempio che viene in mente è uno stimatore GLS che pondera le osservazioni in modo diverso, sebbene ciò non sia necessario quando vengono soddisfatte le ipotesi di Gauss-Markov (che lo statistico potrebbe non sapere essere il caso e quindi applicare ancora applicare GLS).

Considera il caso di una regressione di $y_i$ , $i=1,\ldots,n$ su una costante per illustrazione (generalizza prontamente agli stimatori GLS generali). Qui, si presume che $\{y_i\}$ sia un campione casuale da una popolazione con media $\mu$ e varianza $\sigma^2$ .

Poi, sappiamo che OLS è solo , la media del campione. Sottolineare il fatto che ogni osservazione è ponderato con il peso , scrivere questo come $\hat\beta=\bar y$ $1/n$

\hat{β} = \sum_{i = 1}^{n} \frac{1}{n} y_{i} .

$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$ È ben noto che

V a r (\hat{β}) = σ^{2} / n

$Var(\hat\beta)=\sigma^2/n$ .

Ora, considera un altro stimatore che può essere scritto come

\tilde{β} = \sum_{i = 1}^{n} w_{i} y_{i},

$\tilde\beta=\sum_{i=1}^nw_iy_i,$ dove i pesi sono tali che

\sum_{i} w_{i} = 1

$\sum_iw_i=1$ . Ciò garantisce che lo stimatore sia imparziale, poiché

E (\sum_{i = 1}^{n} w_{i} y_{i}) = \sum_{i = 1}^{n} w_{i} E (y_{i}) = \sum_{i = 1}^{n} w_{i} μ = μ .

$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$ La sua varianza supererà quella di OLS a meno che

w_{i} = 1 / n

$w_i=1/n$ per tutti

i

$i$ (nel qual caso si ridurrà ovviamente a OLS), che ad esempio può essere mostrato tramite un lagrangiano:

\begin{aligned} L & = V (\tilde{β}) - λ (\sum_{i} w_{i} - 1) \\ = \sum_{i} w_{i}^{2} σ^{2} - λ (\sum_{i} w_{i} - 1), \end{aligned}

$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$

w_{i}

$w_i$

2 σ^{2} w_{i} - λ = 0

$2\sigma^2w_i-\lambda=0$

i

$i$

\partial L / \partial λ = 0

$\partial L/\partial\lambda=0$

\sum_{i} w_{i} - 1 = 0

$\sum_iw_i-1=0$

λ

$\lambda$

w_{i} = w_{j}

$w_i=w_j$

w_{i} = 1 / n

$w_i=1/n$

Ecco un'illustrazione grafica di una piccola simulazione, creata con il codice seguente:

$y_i$ In log(s) : NaNs produced

$w_i=(1\pm\epsilon)/n$

Il fatto che questi ultimi tre siano sovraperformati dalla soluzione OLS non è immediatamente sottinteso dalla proprietà BLUE (almeno non per me), poiché non è ovvio se sono stimatori lineari (né so se MLE e Huber sono imparziali).

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)

— Christoph Hanck
fonte

! Neat Penso che questo sia un esempio illustrativo molto semplice, un po 'più generale di quello che mi è venuto in mente. Quando le persone stanno imparando a conoscere gli stimatori in un ambiente frequentista, sento che questi tipi di esempi spesso mancano, ti aiutano davvero a capire meglio il concetto.

— Gumeo,

W = \sum_{i = 1}^{n} w (e_{i})

$W=\sum_{i=1}^n w(e_i)$ dove

e_{i}

$e_i$ è il suo residuo e

w

$w$ è una funzione simmetrica, convessa o non convessa, con minimo (globale) a 0,

w (0) = 0

$w(0)=0$ . Lo stimatore Huber sarebbe un esempio.

— kjetil b halvorsen,

@kjetilbhalvorsen, ora includo anche lo stimatore Huber, che in realtà funziona piuttosto bene.

— Christoph Hanck,