Se il restringimento viene applicato in modo intelligente, funziona sempre meglio per stimatori più efficienti?

Supponiamo di avere due stimatori e che sono stimatori coerenti dello stesso parametro e tali che con in senso psd. Pertanto, asintoticamente è più efficiente di . Questi due stimatori si basano su diverse funzioni di perdita. $\widehat{\beta}_1$ $\widehat{\beta}_2$ $\beta_0$

\sqrt{n} ({\hat{β}}_{1} - β_{0}) \overset{d}{\to} N (0, V_{1}), \sqrt{n} ({\hat{β}}_{2} - β_{0}) \overset{d}{\to} N (0, V_{2})

$\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)$

V_{1} \leq V_{2}

$V_1 \leq V_2$

{\hat{β}}_{1}

$\widehat{\beta}_1$

{\hat{β}}_{2}

$\widehat{\beta}_2$

Ora voglio cercare alcune tecniche di restringimento per migliorare le proprietà del campione finito dei miei stimatori.

Supponiamo di aver trovato una tecnica di restringimento che migliora lo stimatore in un campione finito e mi dà il valore di MSE pari a . Ciò implica che posso trovare una tecnica di restringimento adatta da applicare a che mi darà il MSE non superiore a ? $\widehat{\beta}_2$ $\widehat{\gamma}_2$ $\widehat{\beta}_1$ $\widehat{\gamma}_2$

In altre parole, se il restringimento viene applicato in modo intelligente, funziona sempre meglio per stimatori più efficienti?

— Alik
fonte

Risposte:

Consentitemi di suggerire un controesempio, certamente leggermente noioso. Dì che non è solo asintoticamente più efficiente di , ma ottiene anche il Cramer Rao Lower Bound. Una tecnica di restringimento intelligente per sarebbe: con . La varianza asintotica di è dove l'ultima uguaglianza usa il Lemma nel documento di Hausman . abbiamo $\hat{\beta}_1$ $\hat{\beta}_2$ $\hat{\beta}_2$

{\hat{β}}_{2}^{*} = w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}

$\hat{\beta}_2^\ast = w \hat{\beta}_2 + (1 - w) \hat{\beta}_1$

w \in (0, 1)

$w\in(0,1)$

{\hat{β}}_{2}^{*}

$\hat{\beta}_2^\ast$

V^{*} = A v a r (w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}) = A v a r (w ({\hat{β}}_{2} - {\hat{β}}_{1}) + {\hat{β}}_{1}) = V_{1} + w^{2} (V_{2} - V_{1})

$V^\ast = \mathbb{Avar}(w \hat{\beta}_2 + (1 - w) \hat{\beta}_1) = \mathbb{Avar}(w (\hat{\beta}_2 - \hat{\beta}_1) + \hat{\beta}_1 ) = V_1 + w^2 (V_2 - V_1)$

V_{2} - V^{*} = V_{2} (1 - w^{2}) - V_{1} (1 - w^{2}) \geq 0

$V_2 - V^\ast = V_2(1-w^2) - V_1(1-w^2) \geq 0$ quindi c'è un miglioramento del rischio asintotico (non ci sono termini di bias). Quindi abbiamo trovato una tecnica di restringimento che offre alcuni miglioramenti asintotici (e quindi, si spera, un campione finito) rispetto a . Tuttavia, non esiste uno stimatore di contrazione simile che segue questa procedura.

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}^{*}

$\hat{\beta}_1^\ast$

Il punto qui ovviamente è che il restringimento viene effettuato verso lo stimatore efficiente e quindi non è applicabile allo stimatore efficiente stesso. Questo sembra abbastanza ovvio a un livello elevato, ma immagino che in un esempio specifico ciò non sia così ovvio (lo stimatore MLE e Method of Moments per la distribuzione uniforme potrebbe essere un esempio?).

— Matthias Schmidtblaicher
fonte

Grazie per l'interessante esempio! (+1) Tuttavia, non è chiaro per me che questo dovrebbe essere considerato un contro esempio: è sia asintotico che non mostra che non può essere migliorato per avere lo stesso rischio o meno. (In effetti, il tuo ha automaticamente, nella migliore delle ipotesi, lo stesso rischio di .) Per fornire un controesempio, il rischio di uno stimatore modificato dovrà essere inferiore al rischio di e non è chiaro che ciò sia possibile con questo schema.

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

— user795305,

Grazie e punti presi. Vorrei tuttavia sottolineare che in nessun punto della domanda è stato specificato che l'MSE del avrebbe dovuto essere inferiore a quello di . Quindi è una tecnica di contrazione valida in questo contesto. Ma sono d'accordo che questa è solo una risposta parziale e non vedo l'ora di vedere cosa hanno da dire gli altri su questa domanda.

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}

$\hat{\beta}_1$

{\hat{β}}_{2}^{⋆}

$\hat{\beta}^\star_2$

— Matthias Schmidtblaicher,

Nel paragrafo che inizia "Supponiamo di aver trovato ...", l'OP sembra specificarlo. Sto fraintendendo? Di seguito, lasciate che le stelle denotino gli stimatori modificati in modo che per alcune funzioni (forse di restringimento) . Supponiamo di trovare modo che . Nel paragrafo di riferimento, OP chiede se possiamo trovare alcuni modo che .

{\hat{β}}_{j}^{*} = f_{j} ({\hat{β}}_{j})

$\hat\beta_j^* = f_j(\hat\beta_j)$

f_{j}

$f_j$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

r i s k ({\hat{β}}_{2}) \geq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_2) \ge risk(\hat\beta_2^*)$

f_{1}

$f_1$

r i s k ({\hat{β}}_{1}^{*}) \leq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_1^*) \le risk(\hat\beta_2^*)$

— user795305,

Vedo. Se questa è la domanda, è semplicemente l'identità e la risposta è affermativa nell'esempio. Ho letto la domanda come "Se riusciamo a trovare una funzione modo che il , ci fa esiste una modo tale che il ? "

f_{1}

$f_1$

f (β, x)

$f(\beta, x)$

r i s k (f ({\hat{β}}_{2}, x)) < r i s k ({\hat{β}}_{2})

$risk(f(\hat{\beta}_2,x)) < risk(\hat{\beta}_2)$

g (β, x)

$g(\beta, x)$

r i s k (g ({\hat{β}}_{1}, x)) < r i s k ({\hat{β}}_{1})

$risk(g(\hat{\beta}_1,x)) < risk(\hat{\beta}_1)$

— Matthias Schmidtblaicher,

grazie per aver condiviso questi crediti, anche se in realtà non ho risposto alla tua domanda ...

— Matthias Schmidtblaicher,

-2

Questa è una domanda interessante in cui desidero sottolineare prima alcuni punti salienti.

Due stimatori sono coerenti
$\hat{\beta}_1$ è più efficiente di poiché ottiene meno variazioni $\hat\beta_2$
Le funzioni di perdita non sono le stesse
un metodo di restringimento viene applicato a uno in modo da ridurre la variazione che da sola finisce per essere uno stimatore migliore
Domanda : in altre parole, se il restringimento viene applicato in modo intelligente, funziona sempre meglio per stimatori più efficienti?

Fondamentalmente, è possibile migliorare uno stimatore in un determinato quadro, come una classe imparziale di stimatori. Tuttavia, come indicato da te, diverse funzioni di perdita rendono la situazione difficile in quanto una funzione di perdita può minimizzare la perdita quadratica e l'altra minimizza l'entropia. Inoltre, usare la parola "sempre" è molto complicato poiché se uno stimatore è il migliore della classe, non è possibile rivendicare uno stimatore migliore, logicamente parlando.

Per un semplice esempio (nello stesso framework), si considerino due stimatori, ovvero un Bridge (regressione penalizzata con norma ) e Lazo (verosimiglianza con la prima norma penalizzata) e un insieme sparso di parametri, ovvero , un modello lineare , normalità del termine di errore, , noto , funzione di perdita quadratica (errori minimi quadrati) e indipendenza delle covariate in . Scegliamo per per il primo stimatore e per il secondo stimatore. Quindi è possibile migliorare gli stimatori scegliendo $l_p$ $\beta$ $y=x\beta+e$ $e\sim N(0,\sigma^2<\infty)$ $\sigma$ $x$ $l_p$ $p=3$ $p=2$ $p\rightarrow 1$ che finisce per stimare meglio con una varianza più bassa. Quindi in questo esempio c'è la possibilità di migliorare lo stimatore.

Quindi la mia risposta alla tua domanda è sì, dato che assumi la stessa famiglia di stimatori e la stessa funzione di perdita, nonché ipotesi.

— TPArrow
fonte

non mi è chiaro cosa intendi per prendere . Dati due stimatori (diciamo, dall'avere e nella regolarizzazione dei minimi quadrati , come discuterete nella vostra risposta), la domanda chiede come postprocedere questi stimatori (tramite, diciamo, il restringimento). In particolare, chiede se esistono metodi in grado di produrre un miglioramento simile (in termini di MSE) attraverso stimatori coerenti e asintoticamente normali. Non è chiaro per me cosa dovrebbe trasmettere la tua risposta in merito.

p \to 1

$p \to 1$

p = 3

$p=3$

p = 2

$p=2$

ℓ_{p}

$\ell_p$

— user795305

@Ben Grazie. la domanda riguarda il restringimento e ho cercato di fare un semplice esempio in cui si applica il restringimento imponendo una norma allo stimatore. Lo vedo abbastanza correlato. PS: LASSO ( norma penalizzata con verosimiglianza) sta per Operatore di ritiro e selezione minimi assoluto

l_{p}

$l_p$

l_{1}

$l_1$

— TPArrow,

Non è ancora molto chiaro per me. Stai proponendo di prendere le stime iniziali e e quindi valutare l' operatore prossimale , in modo che le nuove stime siano , per ? In tal caso, potresti fornire una prova (o qualche altro argomento) per i tuoi reclami in merito al miglioramento di MSE? Ho cercato di enfatizzare in precedenza che la domanda si pone sugli stimatori di post-elaborazione : quali sono esattamente le tue stime per la post elaborazione di ?

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

ℓ_{p}

$\ell_p$

{\hat{α}}_{j}^{p} = \arg min_{α} ‖ α - {\hat{β}}_{j} ‖_{2}^{2} + λ ‖ α ‖_{p}

$\hat\alpha^p_j = \arg\min_\alpha \|\alpha-\hat\beta_j\|_2^2 + \lambda \|\alpha\|_p$

j \in {1, 2}

$j \in \{1,2\}$

p = 2, 3

$p=2,3$

— user795305

grazie @Ben, penso che non abbiamo un consenso nella definizione di restringimento. Lo prendi come un post-processo ma io come elaborazione in linea. Penso che abbiamo entrambi ragione, poiché la domanda non sta prendendo in considerazione il tipo di contrazione. PS: Immagino che cosa intendi per restringimento è come un limite duro.

— TPA:

Il restringimento può essere sia in linea sia come post-elaborazione. Gli esempi che hai citato nella tua risposta riguardano il "restringimento in linea", mentre la domanda pone la domanda "restringimento post-elaborazione". Si noti che la domanda fornisce due stimatori e , quindi chiede una tecnica di restringimento da applicare a o . Penso che potrebbe valere la pena rileggere la domanda alla luce di ciò.

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

— user795305,