Comprensione del test t per la regressione lineare

Sto cercando di capire come eseguire alcuni test di ipotesi su una regressione lineare (l'ipotesi nulla non è correlazione). Ogni guida e pagina sull'argomento in cui mi imbatto sembra usare un test t. Ma non capisco cosa significhi effettivamente il test t per la regressione lineare. Un test t, a meno che non abbia una comprensione o un modello mentale completamente sbagliati, viene utilizzato per confrontare due popolazioni. Ma il regressore e il regressore non sono campioni di popolazioni simili e potrebbero anche non appartenere alla stessa unità, quindi non ha senso confrontarli.

Quindi, quando si utilizza un test t su una regressione lineare, che cosa stiamo effettivamente facendo?

Probabilmente stai pensando al test due campioni $t$perché quello è spesso il primo posto in cui arriva la distribuzione $t$ . Ma in realtà tutto un test $t$ significa che la distribuzione di riferimento per la statistica test è una distribuzione $t$ . Se $Z \sim \mathcal N(0,1)$ e $S^2 \sim \chi^2_d$ con $Z$ e $S^2$ indipendenti, quindi

$$\frac{Z}{\sqrt{S^2 / d}} \sim t_d$$ per definizione. Sto scrivendo questo per sottolineare che ladistribuzione$t$è solo un nome che è stato dato alla distribuzione di questo rapporto perché emerge molto, e qualsiasi cosa di questo modulo avrà unadistribuzione$t$. Per il test t con due campioni, questo rapporto appare perché sotto lo zero la differenza nelle medie è un gaussiano a media zero e la stima della varianza per i gaussiani indipendenti è un$\chi^2$indipendente (l'indipendenza può essere mostrata tramiteil teorema di Basu che utilizza il fatto che la stima della varianza standard in un campione gaussiano è accessoria alla media della popolazione, mentre la media del campione è completa e sufficiente per la stessa quantità).

Con la regressione lineare otteniamo sostanzialmente la stessa cosa. In forma $\hat \beta \sim \mathcal N(\beta, \sigma^2 (X^T X)^{-1})$ . Sia $S^2_j = (X^T X)^{-1}_{jj}$ e si presupponga che i predittori $X$ non siano casuali. Se sapessimo $\sigma^2$ avremmo β j - 0

$$\frac{\hat \beta_j - 0}{\sigma S_j} \sim \mathcal N(0, 1)$$ sotto il null$H_0 : \beta_j = 0$quindi avremmo effettivamente un test Z. Ma una volta che stimiamo$\sigma^2$si finisce con una$\chi^2$variabile casuale che, sotto le nostre ipotesi di normalità, risulta essere indipendente dalla nostra statistica β je poi otteniamo unatdistribuzione.$\hat \beta_j$$t$

---

Ecco i dettagli di ciò: assumiamo . Lasciar H = X ( X T X ) - 1 X T essere la matrice del cappello che abbiamo ‖ e ‖ 2 = ‖ ( I - H ) y ‖ 2 = y T ( I - H ) y . H è idempotente, quindi abbiamo il risultato davvero piacevole $y \sim \mathcal N(X\beta, \sigma^2 I)$$H = X(X^TX)^{-1}X^T$

$$\|e\|^2 = \|(I-H)y\|^2 = y^T(I-H)y.$$ $H$ con parametro di non centralità δ = β T X T ( I - H ) X β = β T ( X T X - X T X ) β = 0 , quindi in realtà questo è un χ 2 centralecon n - $$y^T(I-H)y / \sigma^2 \sim \mathcal \chi_{n-p}^2(\delta)$$ $\delta = \beta^TX^T(I-H)X\beta = \beta^T(X^TX - X^T X)\beta = 0$$\chi^2$$n-p$gradi di libertà (questo è un caso speciale del teorema di Cochran ). Sto usando per indicare il numero di colonne di X , quindi se una colonna di X fornisce l'intercettazione allora avremmo p - 1 predittori di non intercettazione. Alcuni autori usano p come numero di predittori di non intercettazione, quindi a volte potresti vedere qualcosa come n - p - 1 nei gradi di libertà lì, ma è sempre la stessa cosa.$p$$X$$X$$p-1$$p$$n-p-1$

Il risultato di ciò è che , così σ 2 : = $E(e^Te / \sigma^2) = n-p$funziona come un grande estimatore diσ2.$\hat \sigma^2 := \frac{1}{n-p} e^T e$$\sigma^2$

Ciò significa che β j è il rapporto tra un gaussiano standard e un chi quadrato diviso per i suoi gradi di libertà. Per finire, dobbiamo mostrare indipendenza e possiamo usare il seguente risultato:

$$\frac{\hat \beta_j}{\hat \sigma S_j}= \frac{\hat \beta_j}{S_j\sqrt{e^Te / (n-p)}} = \frac{\hat \beta_j}{\sigma S_j\sqrt{\frac{e^Te}{\sigma^2(n-p)}}}$$

Risultato: per e le matrici A e B rispettivamente in R l × k e R m × k , A Z e B Z sono indipendenti se e solo se A Σ B T = 0 (questo è esercizio 58 (b) nel capitolo 1 della Statistica matematica di Jun Shao ).$Z \sim \mathcal N_k(\mu, \Sigma)$$A$$B$$\mathbb R^{l\times k}$$\mathbb R^{m\times k}$$AZ$$BZ$$A\Sigma B^T = 0$

Abbiamo β = ( X T X ) - 1 X T y ed e = ( I - H ) y , dove y ~ N ( X β , σ 2 I ) . Questo significa ( X T X ) - 1 X T ⋅ σ 2 I ⋅ ( I - H ) T = σ 2$\hat \beta = (X^TX)^{-1}X^T y$$e = (I-H)y$$y \sim \mathcal N(X\beta, \sigma^2 I)$ in modo ß ⊥e, quindi ß ⊥ e T e.

$$(X^TX)^{-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 \left((X^TX)^{-1}X^T - (X^TX)^{-1}X^TX(X^TX)^{-1}X^T\right) = 0$$ $\hat \beta \perp e$$\hat \beta \perp e^T e$

Il risultato è ora sappiamo β j come desiderato (sotto tutte le ipotesi di cui sopra).

$$\frac{\hat \beta_j}{\hat \sigma S_j} \sim t_{n-p}$$

---

$C = {A \choose B}$$(l+m)\times k$$A$$B$

$$CZ = {AZ \choose BZ} \sim \mathcal N \left({A\mu \choose B\mu}, C\Sigma C^T \right)$$ $$C\Sigma C^T = {A \choose B} \Sigma \left(\begin{array}{cc} A^T & B^T \end{array}\right) = \left(\begin{array}{cc}A\Sigma A^T & A\Sigma B^T \\ B\Sigma A^T & B\Sigma B^T\end{array}\right).$$ $CZ$$A\Sigma B^T = 0$$AZ$$BZ$ nel $CZ$ essere non correlato.

$\square$

@ La risposta di Chaconne è fantastica. Ma ecco una versione non matematica molto più breve!

Poiché l'obiettivo è calcolare un valore P, è innanzitutto necessario definire un'ipotesi nulla. Quasi sempre, cioè la pendenza è effettivamente orizzontale, quindi il valore numerico per la pendenza (beta) è 0,0.

L'inclinazione dei dati non è 0,0. Tale discrepanza è dovuta a una casualità o perché l'ipotesi nulla è sbagliata? Non puoi mai rispondere con certezza, ma un valore P è un modo per ottenere una risposta.

Il programma di regressione riporta un errore standard della pendenza. Calcola il rapporto t come pendenza divisa per il suo errore standard. In realtà, è (pendenza meno pendenza di ipotesi nulla) divisa per l'errore standard, ma la pendenza di ipotesi nulla è quasi sempre zero.

Ora hai un rapporto. Il numero di gradi di libertà (df) è uguale al numero di punti dati meno il numero di parametri adattati dalla regressione (due per la regressione lineare).

Con questi valori (t e df) è possibile determinare il valore P con una calcolatrice o una tabella online.

Si tratta essenzialmente di un test t per un campione, che confronta un valore calcolato osservato (la pendenza) con un valore ipotetico (l'ipotesi nulla).