Differenza tra t-test e ANOVA nella regressione lineare

Mi chiedo quali differenze ci siano tra t-test e ANOVA nella regressione lineare?

Un test t per verificare se una qualsiasi delle pendenze e l'intercetta ha zero medio, mentre ANOVA verifica se tutte le pendenze hanno zero medio? Questa è l'unica differenza tra loro?
Nella regressione lineare semplice, ovvero laddove esiste una sola variabile predittore, è necessario stimare solo una pendenza. Quindi t-test e ANOVA sono equivalenti, e se sì, come, dato che stanno usando statistiche diverse (t-test sta usando t-statistica e ANOVA sta usando F-statistica)?

regression anova t-test

— Tim
fonte

Ad 1) Nella regressione lineare, normalmente capisco ANOVA come una misura della bontà di adattamento del modello, vale a dire per decidere se il modello (linea di regressione) spiega una parte sostanziale della variabilità totale. La domanda, se è equivalente a zero di tutte le pendenze, è davvero molto interessante. Ad 2) sembra che stia ottenendo quasi gli stessi valori di p per t-test e regressione ANOVA in questo caso. Teorema davvero interessante!

— Curioso

Risposte:

Il modello lineare generale ci consente di scrivere un modello ANOVA come modello di regressione. Supponiamo di avere due gruppi con due osservazioni ciascuno, cioè quattro osservazioni in un vettore . Quindi il modello originale, sovra-parametrizzato è , dove è la matrice dei predittori, ovvero variabili di indicatore con codice fittizio: $y$ $E(y) = X^{\star} \beta^{\star}$ $X^{\star}$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{array}) (\begin{matrix} β_{0}^{⋆} \\ β_{1}^{⋆} \\ β_{2}^{⋆} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{ccc}1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0}^{\star} \\ \beta_{1}^{\star} \\ \beta_{2}^{\star}\end{array}\right)$

I parametri non sono identificabili come perché ha rango 2 ( non è invertibile). Per cambiarlo, introduciamo il vincolo (contrasti del trattamento), che ci dà il nuovo modello : $((X^{\star})' X^{\star})^{-1} (X^{\star})' E(y)$ $X^{\star}$ $(X^{\star})'X^{\star}$ $\beta_{1}^{\star} = 0$ $E(y) = X \beta$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{cc} 1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1 \end{array}) (\begin{matrix} β_{0} \\ β_{2} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{cc}1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0} \\ \beta_{2}\end{array}\right)$

Quindi , ovvero assume il significato del valore atteso dalla nostra categoria di riferimento (gruppo 1). , ovvero assume il significato della differenza nella categoria di riferimento. Poiché con due gruppi, esiste solo un parametro associato all'effetto gruppo, l'ipotesi nulla ANOVA (tutti i parametri effetto gruppo sono 0) è uguale all'ipotesi nulla peso di regressione (il parametro pendenza è 0). $\mu_{1} = \beta_{0}$ $\beta_{0}$ $\mu_{2} = \beta_{0} + \beta_{2}$ $\beta_{2}$ $\mu_{2} - \mu_{1}$

Un test nel modello lineare generale verifica una combinazione lineare dei parametri rispetto a un valore ipotizzato sotto l'ipotesi nulla. Scegliendo , possiamo quindi verificare l'ipotesi che (il solito test per il parametro di pendenza), cioè qui, . Lo stimatore è , dove sono i Stime OLS per i parametri. La statistica generale del test per tale è: $t$ $\psi = \sum c_{j} \beta_{j}$ $\psi_{0}$ $c = (0, 1)'$ $\beta_{2} = 0$ $\mu_{2} - \mu_{1} = 0$ $\hat{\psi} = \sum c_{j} \hat{\beta}_{j}$ $\hat{\beta} = (X'X)^{-1} X' y$ $\psi$

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_{0}}{\hat{\sigma} \sqrt{c' (X'X)^{-1} c}}$

$\hat{\sigma}^{2} = \|e\|^{2} / (n-\mathrm{Rank}(X))$ è uno stimatore imparziale per la varianza dell'errore, dove è la somma dei residui quadrati. Nel caso di due gruppi , , e quindi gli stimatori sono e . Con nel nostro caso 1, la statistica del test diventa: $\|e\|^{2}$ $\mathrm{Rank}(X) = 2$ $(X'X)^{-1} X' = \left(\begin{smallmatrix}.5 & .5 & 0 & 0 \\-.5 & -.5 & .5 & .5\end{smallmatrix}\right)$ $\hat{\beta}_{0} = 0.5 y_{1} + 0.5 y_{2} = M_{1}$ $\hat{\beta}_{2} = -0.5 y_{1} - 0.5 y_{2} + 0.5 y_{3} + 0.5 y_{4} = M_{2} - M_{1}$ $c' (X'X)^{-1} c$

t = \frac{M_{2} - M_{1} - 0}{\hat{σ}} = \frac{M_{2} - M_{1}}{\sqrt{‖ e ‖^{2} / (n - 2)}}

$t = \frac{M_{2} - M_{1} - 0}{\hat{\sigma}} = \frac{M_{2} - M_{1}}{\sqrt{\|e\|^{2} / (n-2)}}$

$t$ IS -distributed con df (qui ). Quando si piazza , si ottiene , la statistica del test ANOVA -test per due gruppi ( tra, per i gruppi) che segue una - distribuzione con 1 e df. $t$ $n - \mathrm{Rank}(X)$ $n-2$ $t$ $\frac{(M_{2} - M_{1})^{2} / 1}{\|e\|^{2} / (n-2)} = \frac{SS_{b} / df_{b}}{SS_{w} / df_{w}} = F$ $F$ $b$ $w$ $F$ $n - \mathrm{Rank}(X)$

Con più di due gruppi, le ipotesi ANOVA (tutte sono contemporaneamente 0, con ) si riferiscono a più di un parametro e non possono essere espresse come una combinazione lineare , quindi i test non sono equivalenti . $\beta_{j}$ $1 \leq j$ $\psi$

— Caracal
fonte

In 1, ANOVA testerà di solito le variabili dei fattori e se la varianza tra i gruppi è significativa o meno. Vedrai chiaramente la differenza se il tuo software consente le variabili degli indicatori in una regressione: per ogni manichino otterrai un valore p che indica se questo gruppo ha un punteggio significativamente diverso da 0 e di conseguenza significativamente diverso dal gruppo di riferimento o dal valore di riferimento applicabile . Di solito, non vedrai fino a che punto l'indicatore stesso è importante fino a quando non esegui un test ANOVA.

Un test F è un test t quadrato. Pertanto, in 2, è lo stesso.

— Lavoro duro e faticoso
fonte

Grazie! (1) Cosa significano le variabili indicatore qui? (2) In generale, un test t è equivalente all'ANOVA solo quando ci sono solo due gruppi. Ma nella regressione lineare semplice possono esserci più di due gruppi, in cui il numero di gruppi è il numero di valori che la variabile predittore accetta nel set di dati.

— Tim

(1) Indicatore o variabile categorica o fattore ... tutti uguali. (2) In effetti, ma potresti voler sapere quanto un set di manichini / categorie segna da ANOVA.

— Lavoro

Grazie! (2) Quindi nella semplice regressione lineare, in che modo il test t equivale all'ANOVA, dato che ci sono più di due gruppi? Che cosa significa "quanto bene un set di punteggi di manichini / categorie di ANOVA", e perché voglio saperlo?

— Tim

Nella regressione OLS, R² (varianza spiegata) sarà uguale a eta² o MSS / TSS di ANOVA, indipendentemente dal numero di gruppi definiti. Successivamente, potresti voler conoscere il contributo di un insieme di manichini (ovvero una variabile indicatore) per dire se l'insieme stesso è pertinente e in quale misura, che è diverso dal significato della differenza tra una singola categoria con la categoria di riferimento .

— Lavoro