In che modo regressione, test t e ANOVA sono tutte versioni del modello lineare generale?

49

Come sono tutte le versioni dello stesso metodo statistico di base?

— Amahabirsingh
fonte

correlati: Perché ANOVA viene insegnato / utilizzato come se si trattasse di una metodologia di ricerca diversa rispetto alla regressione lineare?

— Haitao Du,

relativi: R: Anova e regressione lineare

— Haitao Du

correlati: Perché ANOVA equivale alla regressione lineare?

— Haitao Du,

47

Considera che possono essere tutti scritti come un'equazione di regressione (forse con interpretazioni leggermente diverse rispetto alle loro forme tradizionali).

Regressione:

Y = β_{0} + β_{1} X_{(continuo)} + ε dove ε ~ N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(continuous)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

test t:

Y = β_{0} + β_{1} X_{(codice fittizio)} + ε dove ε ~ N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

ANOVA:

Y = β_{0} + β_{1} X_{(codice fittizio)} + ε dove ε ~ N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

La regressione prototipica viene concettualizzata con come variabile continua. Tuttavia, l'unica ipotesi che viene effettivamente fatta su è che si tratta di un vettore di costanti note. Potrebbe essere una variabile continua, ma potrebbe anche essere un codice fittizio (ovvero un vettore di 's & ' che indica se un'osservazione è un membro di un gruppo indicato, ad esempio un gruppo di trattamento). Pertanto, nella seconda equazione, potrebbe essere un codice così fittizio e il valore p sarebbe lo stesso di un test t nella sua forma più tradizionale. $X$ $X$ $0$ $1$ $X$

Il significato dei beta sarebbe diverso qui, però. In questo caso, sarebbe la media del gruppo di controllo (per cui le voci nella variabile fittizia sarebbero 's) e sarebbe la differenza tra la media del gruppo di trattamento e la media del controllo gruppo. $\beta_0$ $0$ $\beta_1$

Ora, ricorda che è perfettamente ragionevole avere / eseguire un ANOVA con solo due gruppi (anche se un test t sarebbe più comune) e tutti e tre sono collegati. Se preferisci vedere come funzionerebbe se avessi un ANOVA con 3 gruppi; sarebbe: Nota che quando hai gruppi, hai codici fittizi per rappresentarli. Il gruppo di riferimento (in genere il gruppo di controllo) è indicato con pertutti icodici fittizi (in questo caso, sia il codice fittizio 1 che il codice fittizio 2). In questo caso, non vorrai interpretare i valori p dei test t per questi beta che hanno un output statistico standard - indicano solo se il gruppo indicato differisce dal gruppo di controlloquando valutato in isolamento

Y = β_{0} + β_{1} X_{(codice fittizio 1)} + β_{2} X_{(codice fittizio 2)} + ε dove ε ~ N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code 1)}} + \beta_2X_{\text{(dummy code 2)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

g

$g$

g - 1

$g-1$

0

$0$ . Cioè, questi test non sono indipendenti. Invece, vorresti valutare se il gruppo significa variare costruendo una tabella ANOVA e conducendo un test F. Per quello che vale, i beta sono interpretati esattamente come nella versione t-test sopra descritta:

è la media del gruppo controllo / riferimento,

indica la differenza tra le medie del gruppo 1 e il gruppo di riferimento e

indica la differenza tra il gruppo 2 e il gruppo di riferimento.

β_{0}

$\beta_0$

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Alla luce dei commenti di @ whuber di seguito, questi possono anche essere rappresentati tramite equazioni di matrice:
Rappresentati in questo modo, & sono vettori di lunghezza e è un vettore di lunghezza . ora è una matrice con righe e colonne. In una regressione prototipo avete continuo variabili e l'intercetta. Quindi, la tua

Y = X β + ε

$\bf Y=\bf X\boldsymbol\beta + \boldsymbol\varepsilon$

Y

$\bf Y$

ε

$\boldsymbol\varepsilon$

N

$N$

β

$\boldsymbol\beta$

p + 1

$p+1$

X

$\bf X$

N

$N$

(p + 1)

$(p+1)$

p

$p$

X

$X$

X

$\bf X$ la matrice è composta da una serie di vettori di colonna affiancati, uno per ogni variabile

, con una colonna di

'all'estrema sinistra per l'intercetta.

X

$X$

1

$1$

Se stai rappresentando un ANOVA con gruppi in questo modo, ricorda che avresti variabili fittizie che indicano i gruppi, con il gruppo di riferimento indicato da un'osservazione con 's in ciascuna variabile fittizia. Come sopra, avresti comunque un'intercettazione. Pertanto, . $g$ $g-1$ $0$ $p=g-1$

— gung - Ripristina Monica
fonte

1

L'equazione ANOVA avrebbe senso come ANOVA (e non come t-test) solo se

fosse interpretato come un vettore e moltiplicato a destra.

β_{1}

$\beta_1$

— whuber

Queste non sono equazioni di matrice; Li uso raramente qui, poiché molte persone non li leggono. Il 1 ° ANOVA rappresenta una situazione identica al precedente test t. Sto solo sottolineando che se è possibile eseguire un test t indipendente di 2 campioni, è possibile eseguire gli stessi dati di un ANOVA (che molte persone dovrebbero riconoscere / ricordare dalla loro classe 101 di statistiche). Aggiungo un'altra versione ANOVA con 3 gruppi più in basso per chiarire che una situazione a 2 gruppi non è l'unico caso ANOVA che può essere compreso come una regressione; ma l'equazione reg ora sembra diversa: stavo cercando di mantenere un parallelo più esplicito sopra.

— gung - Ripristina Monica

Il mio punto è che, a meno che tu non lo trasformi in un'equazione di matrice, la tua caratterizzazione di ANOVA è troppo limitata per essere utile: è identica alla tua caratterizzazione del test t e quindi è più confusa di quanto sia utile. Quando inizi a introdurre più gruppi, cambi improvvisamente l'equazione, che potrebbe anche essere meno che chiara. Se vuoi usare la notazione matriciale dipende ovviamente da te, ma nell'interesse di comunicare bene dovresti cercare la coerenza.

— whuber

Potresti spiegare un po 'di più su come arrivi dalla definizione popolare di t-test all'equazione che hai mostrato. Fondamentalmente non riesco a capire cosa sia Y qui (potrebbe essere ingenuità o meno QI per le statistiche). Tuttavia, come arrivare da t = (yx-u0) / s a questa equazione.

— Gaurav Singhal,

Non lo è, anche se questo potrebbe non esserti familiare.

è continuo (e assunto condizionatamente normale) in tutti i casi elencati. Non ci sono ipotesi distributive su

, può essere una variabile categoriale continua, dicotomica o multilivello.

Y

$Y$

X

$X$

— gung - Ripristina Monica

16

Possono essere tutti scritti come casi particolari del modello lineare generale.

$F$

Un modello ANOVA è fondamentalmente solo un modello di regressione in cui i livelli dei fattori sono rappresentati da variabili fittizie (o indicatori ) .

$Y$

$t$

> t.test(extra ~ group, var.equal=TRUE, data = sleep) 

    Two Sample t-test

data:  extra by group
t = -1.8608, df = 18, p-value = 0.07919   
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -3.363874  0.203874
sample estimates:
mean in group 1 mean in group 2 
           0.75            2.33

Nota il valore p di 0,079 sopra. Ecco il modo unico anova:

> summary(aov(extra~group,sleep))
            Df Sum Sq Mean Sq F value Pr(>F)  
group        1  12.48  12.482   3.463 0.0792 
Residuals   18  64.89   3.605

Ora per la regressione:

> summary(lm(extra ~ group, data = sleep))

(alcuni output rimossi)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)  
(Intercept)   0.7500     0.6004   1.249   0.2276  
group2        1.5800     0.8491   1.861   0.0792 .
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.899 on 18 degrees of freedom
Multiple R-squared:  0.1613,    Adjusted R-squared:  0.1147 
F-statistic: 3.463 on 1 and 18 DF,  p-value: 0.07919

Confronta il valore p nella riga 'group2' e anche il valore p per il test F nell'ultima riga. Per un test a due code, questi sono gli stessi ed entrambi corrispondono al risultato del test t.

Inoltre, il coefficiente di "gruppo2" rappresenta la differenza nelle medie per i due gruppi.

— Glen_b
fonte

Avere gli stessi valori di p in tutti e 3 gli scenari è magico e impressionante, tuttavia se potessi spiegare un po 'di più su come vengono calcolati questi valori di p, renderebbe sicuramente questa risposta più interessante . Non so se mostrare i calcoli del valore p lo renderà anche più utile , quindi è qualcosa che potresti decidere.

— Gaurav Singhal,

@Gaurav I valori p sono gli stessi perché stai testando la stessa ipotesi sullo stesso modello, rappresentato in modo leggermente diverso. Se sei interessato a come viene calcolato un valore p specifico, sarebbe una nuova domanda (non sarebbe una risposta alla domanda qui). Sei libero di porre una domanda del genere, anche se prova prima una ricerca poiché potrebbe già aver ricevuto risposta.

— Glen_b,

Grazie @Glen_b, scusami per aver posto una domanda ovvia e anche quella non nel migliore dei modi. E hai ancora risposto alla mia domanda - "stessa ipotesi sullo stesso modello (e / o dati)". Non ho riflettuto abbastanza su come stiano testando la stessa ipotesi. Grazie

— Gaurav Singhal,

2

Questa risposta che ho pubblicato in precedenza è in qualche modo pertinente, ma questa domanda è in qualche modo diversa.

Potresti voler pensare alle differenze e alle somiglianze tra i seguenti modelli lineari:

[\begin{matrix} Y_{1} \\ ⋮ \\ Y_{n} \end{matrix}] = [\begin{matrix} 1 & X_{1} \\ 1 & X_{2} \\ 1 & X_{3} \\ ⋮ & ⋮ \\ 1 & X_{n} \end{matrix}] [\begin{matrix} α_{0} \\ α_{1} \end{matrix}] + [\begin{matrix} ε_{1} \\ ⋮ \\ ⋮ \\ ε_{n} \end{matrix}]

$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ 1 & x_3 \\ \vdots & \vdots \\ 1 & x_n \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \alpha_1 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$

[\begin{matrix} Y_{1} \\ ⋮ \\ Y_{n} \end{matrix}] = [\begin{matrix} 1 & 0 & 0 & \dots & 0 \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & 0 & 0 & \dots & 0 \\ 0 & 1 & 0 & \dots & 0 \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 0 & 1 & 0 & \dots & 0 \\ 0 & 0 & 1 & \dots & 0 \\ ⋮ & ⋮ \\ ⋮ & ⋮ \end{matrix}] [\begin{matrix} α_{0} \\ ⋮ \\ α_{K} \end{matrix}] + [\begin{matrix} ε_{1} \\ ⋮ \\ ⋮ \\ ε_{n} \end{matrix}]

$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 1 & 0 & 0 & \cdots & 0 \\ \hline 0 & 1 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 0 & 1 & 0 & \cdots & 0 \\ \hline 0 & 0 & 1 & \cdots & 0 \\ \vdots & & & & \vdots \\ \vdots & & & & \vdots \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \vdots \\ \alpha_k \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$

— Michael Hardy
fonte

2

Qualche descrizione e commento alle domande sarebbe utile per i lettori poiché ora devono indovinare da dove provengono e come si collegano alla domanda ...

— Tim

0

Anova è simile a un test t per l'uguaglianza dei mezzi presupponendo varianze sconosciute ma uguali tra i trattamenti. Questo perché in ANOVA MSE è identico alla varianza aggregata utilizzata nel test t. Esistono altre versioni di t-test come una per varianze non uguali e t-test in coppia. Da questo punto di vista, il test t può essere più flessibile.

— pemfir
fonte