Perché RSS distribuito chi square times np?

Vorrei capire perché, sotto il modello OLS, l'RSS (somma residua dei quadrati) è distribuito ( è il numero di parametri nel modello, il numero di osservazioni).

χ^{2} \cdot (n - p)

$\chi^2\cdot (n-p)$

p

$p$

n

$n$

Mi scuso per aver posto una domanda così basilare, ma sembra che non riesca a trovare la risposta online (o nei miei libri di testo più orientati all'applicazione).

regression distributions least-squares

— Tal Galili
fonte

Si noti che le risposte dimostrano che l'affermazione non è del tutto corretta: la distribuzione di RSS è

σ^{2}

$\sigma^2$ (non

n - p

$n-p$ ) volte una distribuzione

χ^{2} (n - p)

$\chi^2(n-p)$ dove

σ^{2}

$\sigma^2$ è la vera varianza degli errori.

— whuber

Risposte:

Considero il seguente modello lineare: ${y} = X \beta + \epsilon$ .

Il vettore dei residui è stimato da

\hat{ϵ} = y - X \hat{β} = (I - X (X^{'} X)^{- 1} X^{'}) y = Q y = Q (X β + ϵ) = Q ϵ

$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$

dove $Q = I - X (X'X)^{-1} X'$ .

Osserva che $\textrm{tr}(Q) = n - p$ (la traccia è invariante sotto permutazione ciclica) e che $Q'=Q=Q^2$ . Gli autovalori di $Q$ sono quindi $0$ e $1$ (alcuni dettagli di seguito). Quindi, esiste una matrice unitaria $V$ tale che (le matrici sono diagonali dalle matrici unitarie se e solo se sono normali. )

V^{'} Q V = Δ = diag (\underset{n - p times}{\underset{⏟}{1, \dots, 1}}, \underset{p times}{\underset{⏟}{0, \dots, 0}})

$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$

Ora, lascia . $K = V' \hat{\epsilon}$

Dal momento che , abbiamo e quindi . così $\hat{\epsilon} \sim N(0, \sigma^2 Q)$ $K \sim N(0, \sigma^2 \Delta)$ $K_{n-p+1}=\ldots=K_n=0$

\frac{‖ K ‖^{2}}{σ^{2}} = \frac{‖ K^{⋆} ‖^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$

con . $K^{\star} = (K_1, \ldots, K_{n-p})'$

Inoltre, poiché è una matrice unitaria, abbiamo anche $V$

‖ \hat{ϵ} ‖^{2} = ‖ K ‖^{2} = ‖ K^{⋆} ‖^{2}

$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$

così

\frac{RSS}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$

Infine, osserva che questo risultato lo implica

E (\frac{RSS}{n - p}) = σ^{2}

$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$

Poiché , il polinomio minimo di divide il polinomio . Quindi, gli autovalori di sono tra e . Poiché è anche la somma degli autovalori moltiplicati per la loro molteplicità, abbiamo necessariamente che è un autovalore con molteplicità e zero è un autovalore con molteplicità . $Q^2 - Q =0$ $Q$ $z^2 - z$ $Q$ $0$ $1$ $\textrm{tr}(Q) = n-p$ $1$ $n-p$ $p$

— OCRAM
fonte

(+1) Buona risposta. Si può limitare l'attenzione a ortogonale, anziché unitaria, poiché è reale e simmetrica. Inoltre, cos'è ? Non lo vedo definito. Riavviando leggermente l'argomento, si può anche evitare l'uso di una normale degenerata, nel caso in cui ciò causi una certa costernazione a coloro che non lo conoscono.

V

$V$

Q

$Q$

S C R

$\mathrm{SCR}$

— cardinale il

@Cardinale. Buon punto. SCR ("Somme des Carrés Résiduels" in francese) avrebbe dovuto essere RSS.

— Ocram,

Grazie per la risposta dettagliata Ocram! Alcuni passaggi mi richiedono di guardare di più, ma ho uno schema a cui pensare ora - grazie!

— Tal Galili,

@Glen_b: Oh, ho apportato una modifica un paio di giorni fa per cambiare SCR in SRR. Non ricordavo che SCR fosse menzionato nel mio commento. Dispiace per la confusione.

— Ocram,

@Glen_b: avrebbe dovuto significare RSS: -S modificato di nuovo. Thx

— ocram,

IMHO, la notazione matriziale complica le cose. Il linguaggio dello spazio vettoriale puro è più pulito. Il modello può essere scritto dove ha la distribuzione normale standard su e si presume che appartenga a un sottospazio vettore . $Y=X\beta+\epsilon$ $\boxed{Y=\mu + \sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W \subset \mathbb{R}^n$

Ora entra in gioco il linguaggio della geometria elementare. I minimi quadrati estimatore di è altro che : la proiezione ortogonale della osservabile sullo spazio a cui è assunto appartenere. Il vettore dei residui è : proiezione sul complemento ortogonale di in . La dimensione di è $\hat\mu$ $\mu$ $P_WY$ $Y$ $W$ $\mu$ $P^\perp_WY$ $W^\perp$ $W$ $\mathbb{R^n}$ $W^\perp$ . $\dim(W^\perp)=n-\dim(W)$

Infine, e ha la distribuzione normale standard su , quindi la sua norma al quadrato ha la distribuzione con gradi di libertà.

P_{W}^{⊥} Y = P_{W}^{⊥} (μ + σ G) = 0 + σ P_{W}^{⊥} G,

$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$

P_{W}^{⊥} G

$P^\perp_WG$

W^{⊥}

$W^\perp$

χ^{2}

$\chi^2$

\dim (W^{⊥})

$\dim(W^\perp)$

Questa dimostrazione usa solo un teorema, in realtà un teorema di definizione:

Definizione e teorema . Un vettore casuale in ha la distribuzione normale standard su uno spazio vettoriale se prende i suoi valori in e le sue coordinate in uno ( $\mathbb{R}^n$ $U \subset \mathbb{R}^n$ $U$ $\iff$ in tutto) le basi ortonormali di sono distribuzioni normali standard unidimensionali indipendenti $U$

(da questo teorema di definizione, il teorema di Cochran è così ovvio che non vale la pena dichiararlo)

— Stéphane Laurent
fonte