Intuizione dello stimatore sandwich

Wikipedia e la vignetta del pacchetto sandwich R forniscono buone informazioni sulle ipotesi a supporto degli errori standard del coefficiente OLS e sullo sfondo matematico degli stimatori sandwich. Non sono ancora chiaro in che modo sia affrontato il problema dell'eteroscedasticità dei residui, probabilmente perché in primo luogo non capisco completamente la stima della varianza dei coefficienti OLS standard.

Qual è l'intuizione dietro lo stimatore sandwich?

— Robert Kubrick
fonte

Devi saperne di più sulla stima (o stima dell'estremo, come talvolta viene chiamata in econometria). Lo stimatore sandwich per la regressione è solo un caso speciale di una formula delta-metodo molto generale e, se capisci la seconda, non avrai problemi con la prima. Non c'è intuizione in quanto lo stimatore sandwich non cerca di modellare l'eteroschedasticità o fare qualcosa di specifico al riguardo; è solo uno stimatore di varianza diverso che funziona con una serie di ipotesi più generali rispetto allo stimatore OLS standard.

M

$M$

— Attacco

@StasK Grazie! Ti capita di conoscere qualche buona risorsa particolare sulle formule di stima M e delta-method?

— Robert Kubrick,

La monografia di @Robert Huber "Robust Statistics" merita una visita.

— Momo,

Per OLS, puoi immaginare che stai usando la varianza stimata dei residui (sotto il presupposto di indipendenza e omoscedasticità) come stima per la varianza condizionale degli . Nello stimatore basato su sandwich, stai usando i residui quadrati osservati come stima plug-in della stessa varianza che può variare tra le osservazioni. $Y_i$

var (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (var (Y | X)) X) {(X^{T} X)}^{- 1}

$\begin{equation} \mbox{var}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(\mbox{var}\left(Y|X\right)\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

Nella stima dell'errore standard dei minimi quadrati ordinari per la stima del coefficiente di regressione, la varianza condizionale del risultato viene trattata come costante e indipendente, in modo che possa essere stimata in modo coerente.

{\hat{var}}_{O L S} (\hat{β}) = {(X^{T} X)}^{- 1} (r^{2} X^{T} X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{OLS}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(r^2X^TX\right)\left(X^TX\right)^{-1} \end{equation}$

Per il sandwich, evitiamo una stima coerente della varianza condizionale e invece utilizziamo una stima plug-in della varianza di ciascun componente usando il residuo quadrato

{\hat{var}}_{R S E} (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (r_{i}^{2}) X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{RSE}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(r_i^2\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

Usando la stima della varianza del plug-in, otteniamo stime coerenti della varianza di dal teorema del limite centrale di Lyapunov. $\hat{\beta}$

Intuitivamente, questi residui quadrati osservati risolveranno qualsiasi errore inspiegabile a causa dell'eteroscedasticità che altrimenti sarebbe stata inaspettata dal presupposto di una varianza costante.

— ADAMO
fonte

È il tuo ultimo paragrafo che ho difficoltà a cogliere. Puoi illustrare?

— Robert Kubrick,

Non è SE nelle tue formule, AdamO, è SE ^ 2 ... in qualunque modo di matrice intenderai questo.

— Attacco

@StasK buon punto. Forse un cappello varianza è meglio. Stavo confondendo una terminologia multivariata e univariata.

— AdamO,

@RobertKubrick Nell'ultimo paragrafo, sottolineo che la differenza chiave negli stimatori è come rappresentiamo il termine di varianza condizionale . Nel modello di regressione lineare, stimiamo costantemente i residui, ma con il sandwich, utilizziamo semplicemente una stima plug-in della varianza condizionale per l' -esimo termine usando i residui quadrati. In presenza di eteroscedasticità, i punti con residui quadrati relativamente grandi hanno una corrispondente varianza stimata corrispondente e ciò riduce la loro influenza sulle stime di errore standard.

var (Y | X)

$\mbox{var}(Y|X)$

i

$i$

— AdamO,

Modifica: ho detto che le stime var OLS implicano "stime coerenti dei residui", quando intendevo dire "stima coerente della varianza dei residui".

— AdamO,