Perché una distribuzione T viene utilizzata per testare l'ipotesi di un coefficiente di regressione lineare?

16

In pratica, l'uso di un test T standard per verificare il significato di un coefficiente di regressione lineare è pratica comune. La meccanica del calcolo ha senso per me.

Perché la distribuzione a T può essere utilizzata per modellare la statistica test standard utilizzata nel test di ipotesi di regressione lineare? Statistica del test standard a cui mi riferisco qui:

T_{0} = \frac{\hat{β} - β_{0}}{S E (\hat{β})}

$T_{0} = \frac{\widehat{\beta} - \beta_{0}}{SE(\widehat{\beta})}$

— Nate Parke
fonte

Una risposta completa e completa a questa domanda sarà piuttosto lunga, ne sono certo. Quindi, mentre aspetti che qualcuno lo affronti, puoi avere una buona idea del perché questo è il caso guardando alcune note che ho trovato online qui: onlinecourses.science.psu.edu/stat501/node/297 . Nota in particolare che

t_{(n - p)}^{2} = F_{(1, n - p)}

$t^2_{(n−p)}=F_{(1,n−p)}$ .

— StatStudent,

1

Non posso credere che questo non sia un duplicato, eppure tutti i voti positivi (sia sulla domanda che sulle risposte) ... Che ne dici di questo ? O forse non è un duplicato, il che significa che ci sono (o c'erano fino ad oggi) argomenti super-base che non sono stati ancora trattati nei quasi sette anni di esistenza di Cross Validated ... Wow ...

— Richard Hardy

@RichardHardy Hmm, sembra un duplicato. Mentre è più prolisso, la domanda è specificamente: "Come posso dimostrare che per , $\hat\beta_i$ " $\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$

— Firebug

25

Per capire il motivo per cui si usa il t-distribuzione, è necessario sapere che cosa è la distribuzione di fondo di e della somma dei quadrati dei residui ( ) come questi due messi insieme vi darà la distribuzione t. $\widehat{\beta}$ $RSS$

La parte più semplice è la distribuzione di che è una distribuzione normale - a questa nota che = è quindi una funzione lineare di , dove . Come risultato è anche distribuito $\widehat{\beta}$ $\widehat{\beta}$ $(X^{T}X)^{-1}X^{T}Y$ $Y$ $Y\sim N(X\beta, \sigma^{2}I_{n})$ - fatemi sapere se avete bisogno di aiuto derivante la distribuzione di . $\widehat{\beta} \sim N(\beta, \sigma^{2}(X^{T}X)^{-1})$ $\widehat{\beta}$

Inoltre, , dove è il numero di osservazioni e è il numero di parametri utilizzati nella regressione. La prova di ciò è un po 'più complessa, ma anche semplice da ricavare (vedi la prova qui Perché l'RSS è distribuito chi square times np? ). $RSS \sim \sigma^{2}\chi^{2}_{n-p}$ $n$ $p$

Fino a questo punto ho considerato tutto nella matrice / vettore di notazione, ma cerchiamo di semplicità d'uso e utilizzare la sua distribuzione normale, che ci $\widehat{\beta}_{i}$

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$

Inoltre, dalla distribuzione chi-quadrato di abbiamo che: $RSS$

\frac{(n - p) s^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\begin{equation} \frac{(n-p)s^{2}}{\sigma^{2}} \sim \chi^{2}_{n-p} \end{equation}$

Questo era semplicemente un riarrangiamento della prima espressione chi-quadrata ed è indipendente da . Inoltre, definiamo $N(0,1)$ , che è uno stimatore imparziale per. Con la definizione della definizioneche dividendo una distribuzione normale per un chi-quadrato indipendente (oltre i suoi gradi di libertà) si ottiene una distribuzione t (per la prova vedi:una normale divisa per $s^{2}=\frac{RSS}{n-p}$ $\sigma^{2}$ $t_{n-p}$ ti dà una distribuzione t - prova $\sqrt{\chi^2(s)/s}$ ) ottieni che:

\frac{{\hat{β}}_{i} - β_{i}}{s \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim t_{n - p}

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{s\sqrt{(X^{T}X)^{-1}_{ii}}} \sim t_{n-p} \end{equation}$

$s\sqrt{(X^{T}X)^{-1}_{ii}}=SE(\widehat{\beta}_{i})$

Fammi sapere se ha senso.

— francium87d
fonte

what a great answer! could you please explain why

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$ ?

— KingDingeling

4

The answer is actually very simple: you use t-distribution because it was pretty much designed specifically for this purpose.

Ok, the nuance here is that it wasn't designed specifically for the linear regression. Gosset came up with distribution of sample that was drawn from the population. For instance, you draw a sample $x_1,x_2,\dots,x_n$ , and calculate its mean $\bar x=\sum_{i=1}^n x_i/n$ . What is the distribution of a sample mean $\bar x$ ?

If you knew the true (population) standard deviation $\sigma$ , then you'd say that the variable $\xi=(\bar x-\mu)\sqrt n/\sigma$ is from the standard normal distribution $\mathcal N(0,1)$ . The trouble's that you usually do not know $\sigma$ , and can only estimate it $\hat\sigma$ . So, Gosset figured out the distribution when you substitute $\sigma$ with $\hat\sigma$ in the denominator, and the distribution is now called after his pseduonym "Student t".

The technicalities of linear regression lead to a situation where we can estimate the standard error $\hat\sigma_\beta$ of the coefficient estimate $\hat\beta$ , but we do not know the true $\sigma$ , therefore Student t distribution is applied here too.

— Aksakal
fonte