OLS è asintoticamente efficiente sotto l'eteroscedasticità

So che OLS è imparziale ma non efficiente sotto l'eteroscedasticità in una regressione lineare.

In Wikipedia

http://en.wikipedia.org/wiki/Minimum_mean_square_error

Lo stimatore MMSE è asintoticamente imparziale e converge nella distribuzione alla distribuzione normale: , dove I (x) è l'informazione di Fisher di x. Pertanto, lo stimatore MMSE è asintoticamente efficiente. $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

L'MMSE è considerato asintoticamente efficiente. Sono un po 'confuso qui.

Questo significa che OLS non è efficiente nel campione finito, ma efficiente asintoticamente sotto eteroscedasticità?

Critica delle risposte attuali: finora le risposte proposte non riguardano la distribuzione limitante.

Grazie in anticipo

least-squares heteroscedasticity efficiency

— Cagdas Ozgenc
fonte

Questo è un articolo di Wikipedia abbastanza lungo. Poiché, inoltre, questi sono soggetti a modifiche, ti dispiacerebbe citare il passaggio che causa confusione?

— hejseb,

Le informazioni di Fisher derivano dalla funzione di verosimiglianza. Quindi implica implicitamente che la probabilità sia stata specificata correttamente. vale a dire l'affermazione a cui ti riferisci presuppone che, se esiste un'eteroscedasticità, la regressione è stata ponderata in modo tale che l'eteroscedasticità sia stata correttamente specificata. Vedi en.wikipedia.org/wiki/Least_squares#Weighted_least_squares . In pratica spesso non conosciamo la forma dell'eteroscedasticità, quindi a volte accettiamo l'inefficienza piuttosto che correre il rischio di influenzare la regressione mancando di specificare schemi di ponderazione.

— Zachary Blumenfeld,

@ZacharyBlumenfeld Non c'erano ipotesi sulla distribuzione di x nell'articolo. Come siamo finiti con le informazioni Fisher?

— Cagdas Ozgenc,

See en.wikipedia.org/wiki/Fisher_information L'articolo implica una distribuzione su e quando prende le aspettative nella sezione di definizione. Si noti che l'omoscedasticità non è mai stata ipotizzata lì. Nel contesto di OLS, l'omoscedatticità ha assunto , la matrice dell'identità. L'eteroscedatticità consente di , qualsiasi diagonale positiva semi-definita. Utilizzando si tradurrebbe in una diversa informazione di Fisher di quanto sarebbe utilizzando .

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

— Zachary Blumenfeld,

dove posso vedere una prova di questo fatto che "MMSE converge nella distribuzione alla distribuzione normale?"

— Hajir,

Risposte:

L'articolo non ha mai assunto l'omoskadasticità nella definizione. Per dirla nel contesto di questo articolo, omoschedasticità sarebbe dicendo Dove è il identità matrice e è una numero positivo scalare. L'eteroscadasticità lo consente

E {(\hat{x} - x) (\hat{x} - x)^{T}} = σ I

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$

I

$I$

n \times n

$n\times n$

σ

$\sigma$

E {(\hat{x} - x) (\hat{x} - x)^{T}} = D

$E\{(\hat x-x)(\hat x-x)^T\}=D$

Qualsiasi diaganol positivo definito. L'articolo definisce la matrice di covarianza nel modo più generale possibile, come il secondo momento centrato di una distribuzione multi-variabile implicita. dobbiamo conoscere la distribuzione multivariata di per ottenere una stima asintoticamente efficiente e coerente di . Questo verrà da una funzione di verosimiglianza (che è una componente obbligatoria del posteriore). Ad esempio, supponiamo (cioè . Quindi la funzione di probabilità implicita è Dove è il normale pdf multivariato. $D$ $e$ $\hat x$ $e \sim N(0,\Sigma)$ $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

\log [L] = \log [ϕ (\hat{x} - x, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$

ϕ

$\phi$

La matrice di informazioni sul pescatore può essere scritta come vedere en.wikipedia.org/wiki/Fisher_information per ulteriori informazioni. È da qui che possiamo derivare Quanto sopra sta usando una funzione di perdita quadratica ma non assume omoschedasticità.

I (x) = E [(\frac{\partial}{\partial x} \log [L])^{2} | x]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$

\sqrt{n} (\hat{x} - x) \to^{d} N (0, I^{- 1} (x))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$

Nel contesto di OLS, dove regrediamo su assumiamo La probabilità implicita è Che può essere convenientemente riscritto come il normale pdf univariato. Le informazioni sul pescatore sono quindi $y$ $x$

E {y | x} = x^{'} β

$E\{y|x\}=x'\beta$

\log [L] = \log [ϕ (y - x^{'} β, σ I)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$

\log [L] = \sum_{i = 1}^{n} \log [φ (y - x^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$

I (β) = [σ (x x^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

Se l'omoschedasticità non viene soddisfatta, le informazioni di Fisher come indicato non vengono specificate (ma la funzione di aspettativa condizionale è ancora corretta), quindi le stime di saranno coerenti ma inefficienti. Potremmo riscrivere la probabilità di rendere conto dell'eteroskatticità e la regressione è efficiente, cioè possiamo scrivere Ciò equivale a certe forme di minimi quadrati generalizzati , ad esempio i minimi quadrati ponderati. Tuttavia, questo lo farà $\beta$

\log [L] = \log [ϕ (y - x^{'} β, D)]

$\log[L]=\log[\phi(y-x'\beta, D)]$ cambia la matrice di informazioni di Fisher. In pratica spesso non conosciamo la forma dell'eteroscedasticità, quindi a volte preferiamo accettare l'inefficienza piuttosto che la possibilità di influenzare la regressione per mancanza di schemi di ponderazione. In tali casi la covarianza asintotica di non è come sopra specificato.

β

$\beta$

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$

— Zachary Blumenfeld
fonte

Grazie per tutto il tempo che hai trascorso. Comunque penso che la voce wiki sia una schifezza totale. L'MMSE non darà efficienza e da nessuna parte viene specificato che i campioni vengono ponderati in modo appropriato. Inoltre, anche se ipotizziamo che i campioni siano ponderati, non è comunque uno stimatore efficiente a meno che la distribuzione non sia gaussiana, che non è neppure specificata.

— Cagdas Ozgenc,

@CagdasOzgenc Rispetto rispettosamente. L'articolo è formulato in modo bayesiano generale che può includere la regressione, ma anche molti altri modelli (sembra mirato più al filtro di Kalman). La probabilità è lo stimatore più efficiente quando è noto, questa è una proprietà di base della probabilità. Ciò che dici si applica rigorosamente a un sottoinsieme di modelli di regressione (sebbene tra i modelli più ampiamente applicati) in cui si assume la normalità quando si derivano le condizioni del primo ordine.

— Zachary Blumenfeld,

L'hai detto tu stesso. Sfortunatamente l'articolo non riguarda lo stimatore della probabilità. È lo stimatore quadrato medio minimo, che è efficiente quando sono soddisfatte determinate condizioni.

— Cagdas Ozgenc,

Va bene, sono d'accordo a non essere d'accordo :) Forse c'è un conflitto con la definizione di MMSE tra il modo in cui viene utilizzato nella regressione più frequente e il modo in cui viene applicato qui in un ambiente più bayesiano. Forse dovrebbero inventare un nuovo nome per questo. Tuttavia le probabilità (o forse altre stime non parametriche) sono implicite quando si assumono aspettative indipendenti su ogni singolo residuo quadrato. specialmente in un ambiente bayesiano (altrimenti come lo stimeremmo?). Dopo aver cercato su Google ho trovato molti risultati simili a quello su Wikipedia. Ad ogni modo, sono d'accordo sul fatto che la terminologia sia stata abusata.

— Zachary Blumenfeld,

No, OLS non è efficiente sotto l'eteroscedasticità. L'efficienza di uno stimatore si ottiene se lo stimatore presenta la minima varianza tra gli altri stimatori possibili. Dichiarazioni sull'efficienza in OLS sono fatte indipendentemente dalla distribuzione limitante di uno stimatore.

— tizio a caso
fonte