Prova che i coefficienti in un modello OLS seguono una distribuzione t con gradi di libertà (nk)


29

sfondo

Supponiamo di avere un modello dei minimi quadrati ordinari in cui abbiamo coefficienti nel nostro modello di regressione, k

y=Xβ+ϵ

dove è un vettore di coefficienti , è la matrice di progettazione definita daβ(k×1)X

X=(1x11x12x1(k1)1x211xn1xn(k1))
e gli errori sono IID normale,
ϵN(0,σ2I).

Riduciamo al minimo gli errori di somma dei quadrati impostando le nostre stime per β su

β^=(XTX)1XTy.

Uno stimatore imparziale di σ2 è

s2=yy^2np
where y^Xβ^ ( rif ).

La covarianza di β^ è data da

Cov(β^)=σ2C
dove C(XTX)1 ( rif ).

Domanda

Come posso dimostrare che per β^i ,

β^iβisβ^itnk
dove tnk è un distribuzione t con (nk) gradi di libertà e l'errore standard di β^i è stimato da sβ^i=scii .

I miei tentativi

So che per variabili casuali campionate da , puoi mostrare che riscrivendo LHS come e rendendosi conto che il numertore è una distribuzione normale standard e il denominatore è radice quadrata di una distribuzione Chi-quadrata con df = (n-1) e divisa per (n- 1) ( rif ). E quindi segue una distribuzione t con df = (n-1) ( ref ).nxN(μ,σ2)

x¯μs/ntn1
(x¯μσ/n)s2/σ2

Non sono stato in grado di estendere questa prova alla mia domanda ...

Qualche idea? Sono consapevole di questa domanda , ma non lo dimostrano esplicitamente, danno solo una regola empirica, dicendo "ogni predittore ti costa un certo grado di libertà".


Poiché è una combinazione lineare di variabili congiuntamente normali, ha una distribuzione normale. Quindi tutto ciò che devi fare è (1) stabilire che ; (2) mostra che è uno stimatore imparziale di ; e (3) dimostrano i gradi di libertà in è . Quest'ultimo è stato dimostrato su questo sito in diversi luoghi, come stats.stackexchange.com/a/16931 . Sospetto che tu sappia già come fare (1) e (2). β^iE(β^i)=βisβ^i2Var(β^i)sβ^ink
whuber

Risposte:


32

Poiché sappiamo che e quindi sappiamo che per ogni componente di , dove è l' elemento diagonale di . Quindi, sappiamo che

β^=(XTX)1XTY=(XTX)1XT(Xβ+ε)=β+(XTX)1XTε
β^βN(0,σ2(XTX)1)
kβ^
β^kβkN(0,σ2Skk)
Skkkth(XTX)1
zk=β^kβkσ2SkkN(0,1).

Prendi nota dell'affermazione del Teorema per la distribuzione di una forma quadratica idempotente in un vettore normale standard (Teorema B.8 in Greene):

Se e è simmetrica e idempotente, allora è distribuito dove è la posizione di .xN(0,I)AxTAxχν2νA

Sia denota il vettore residuo di regressione e sia che è la matrice del creatore residuo (ovvero ) . È facile verificare che sia simmetrico e idempotente .ε^

M=InX(XTX)1XT,
My=ε^M

Lascia che sia uno stimatore per .

s2=ε^Tε^np
σ2

Dobbiamo quindi fare un po 'di algebra lineare. Nota queste tre proprietà di algebra lineare:

  • Il rango di una matrice idempotente è la sua traccia.
  • Tr(A1+A2)=Tr(A1)+Tr(A2)
  • Tr(A1A2)=Tr(A2A1) se è e è ( questa proprietà è fondamentale per il funzionamento di seguito )A1n1×n2A2n2×n1

Quindi

rank(M)=Tr(M)=Tr(InX(XTX)1XT)=Tr(In)Tr(X(XTX)1XT))=Tr(In)Tr((XTX)1XTX))=Tr(In)Tr(Ip)=np

Quindi

V=(np)s2σ2=ε^Tε^σ2=(εσ)TM(εσ).

Applicando il teorema per la distribuzione di una forma quadratica idempotente in un vettore normale standard (indicato sopra), sappiamo che .Vχnp2

Dato che hai presupposto che sia normalmente distribuito, allora è indipendente da e poiché è una funzione di , allora è anche indipendente da . Pertanto, e sono indipendenti l'uno dall'altro.εβ^ε^s2ε^s2β^zkV

Quindi, è il rapporto di una distribuzione normale standard con la radice quadrata di una distribuzione Chi-quadrata con gli stessi gradi di libertà (cioè ), che è una caratterizzazione della distribuzione . Pertanto, la statistica ha una distribuzione con gradi di libertà.

tk=zkV/(np)
npttktnp

Può quindi essere manipolato algebricamente in una forma più familiare.

tk=β^kβkσ2Skk(np)s2σ2/(np)=β^kβkSkks2=β^kβks2Skk=β^kβkse(β^k)

Anche una domanda secondaria: per il Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector, non abbiamo anche bisogno di per essere simmetrici? Sfortunatamente, non ho Greene, quindi non riesco a vedere le prove anche se ho visto che Wikipedia aveva la tua stessa forma . Tuttavia, un contro esempio sembra essere la matrice idempotente che porta a che non è Chi-Squared poiché potrebbe assumere valori negativi. ..AA=(1100)x12+x1x2
Garrett,

1
@Garrett Le mie scuse, dovrebbe essere sia simmetrico che idempotente. Una dimostrazione è fornita come Teorema 3 in questo documento: www2.econ.iastate.edu/classes/econ671/hallam/documents/… Fortunatamente, è simmetrico oltre che idempotente. AM
Indicatore blu

1
A è semplicemente una rappresentazione matriciale di una forma quadratica. Ogni forma quadratica ha una rappresentazione simmetrica, quindi il requisito di simmetria di è implicito nell'affermazione del teorema. (Le persone non usano matrici asimmetriche per rappresentare forme quadratiche.) Pertanto la forma quadratica è rappresentata in modo univoco dalla matrice che non è idempotente. A(x1,x2)x12+x1x2A=(11/21/20)
whuber

1
Perché implica è indipendente da ? Non proprio seguendo lì. ϵN(0,σ2)β^ϵ^
Glassjawed,

1
@Glassjawed Poiché sia che sono multivariati normalmente distribuiti, la non correlazione implica indipendenza. Uso delle espressioni e da sopra, possiamo mostrare che . β^ε^β^=β+(XX)1Xεε^=MεCov(β^,ε^)=0p×n
rzch,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.