ANOVA vs regressione lineare multipla? Perché l'ANOVA è così comunemente usato negli studi sperimentali?

ANOVA vs regressione lineare multipla?

Comprendo che entrambi questi metodi sembrano utilizzare lo stesso modello statistico. Tuttavia, in quali circostanze dovrei usare quale metodo?

Quali sono i vantaggi e gli svantaggi di questi metodi rispetto?

Perché l'ANOVA è così comunemente usato negli studi sperimentali e non trovo quasi mai uno studio di regressione?

Sarebbe interessante apprezzare che la divergenza sta nel tipo di variabili , e in particolare nei tipi di variabili esplicative . Nella tipica ANOVA abbiamo una variabile categoriale con diversi gruppi e proviamo a determinare se la misurazione di una variabile continua differisce tra i gruppi. D'altra parte, OLS tende a essere percepito principalmente come un tentativo di valutare la relazione tra un regresso continuo o una variabile di risposta e uno o più regressori o variabili esplicative . In questo senso la regressione può essere vista come una tecnica diversa, prestandosi a predire valori basati su una linea di regressione.

Tuttavia , questa differenza non regge l'estensione di ANOVA al resto dell'analisi della zuppa dell'alfabeto di varianza (ANCOVA, MANOVA, MANCOVA); o l'inclusione di variabili con codice fittizio nella regressione OLS. Non sono chiaro i punti di riferimento storici specifici, ma è come se entrambe le tecniche abbiano sviluppato adattamenti paralleli per affrontare modelli sempre più complessi.

Ad esempio, possiamo vedere che le differenze tra ANCOVA e OLS con variabili fittizie (o categoriche) (in entrambi i casi con interazioni) sono al massimo estetiche. Per favore, scusa la mia partenza dai confini nel titolo della tua domanda, riguardo alla regressione lineare multipla.

In entrambi i casi, il modello è sostanzialmente identico al punto che in R la lmfunzione viene utilizzata per eseguire ANCOVA . Tuttavia, può essere presentato come diverso per quanto riguarda l'inclusione di un'intercetta corrispondente al primo livello (o gruppo) della variabile fattore (o categorica) nel modello di regressione.

In un modello bilanciato ( gruppi di uguali dimensioni , n 1 , 2 , $i$ ) e solo una covariata (per semplificare la presentazione della matrice), la matrice del modello in ANCOVA può essere riscontrata come una variazione di:$n_{1,2,\cdots\, i}$

$$X=\begin{bmatrix} 1_{n_1} & 0 & 0 & x_{n_1} & 0 & 0\\ 0 & 1_{n_2} & 0 & 0 & x_{n_2} & 0\\ 0 & 0 & 1_{n_3} & 0 & 0 & x_{n_3} \end{bmatrix}$$

per gruppi della variabile fattore, espressi come matrici a blocchi.$3$

Ciò corrisponde al modello lineare:

con α i equivalenti al diverso gruppo significa in un modello ANOVA, mentre i diversi β sono le pendenze della covariata per ciascuno dei gruppi.

$$y = \alpha_i + \beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$$ $\alpha_i$$\beta$

La presentazione dello stesso modello nel campo della regressione, e in particolare in R, considera un'intercettazione generale, corrispondente a uno dei gruppi, e la matrice del modello potrebbe essere presentata come:

$$X=\begin{bmatrix} \color{red}\vdots & 0 & 0 &\color{red}\vdots & 0 &0 & 0\\ \color{red}{J_{3n,1}} & 1_{n_2} & 0 & \color{red}{x} & 0 & x_{n_2} & 0\\ \color{red}\vdots& 0 & 1_{n_3} & \color{red}\vdots & 0 & 0 & x_{n_3} \end{bmatrix}$$

dell'equazione OLS:

$$y =\color{red}{\beta_0} + \mu_i +\beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$$

$\beta_0$$\mu_i$

Come puoi vedere dalle matrici del modello, la presentazione cela l'identità effettiva tra regressione e analisi della varianza.

Mi piace questo tipo di verifica con alcune righe di codice e miei dati preferiti impostati mtcarsin R . Sto usando lmper ANCOVA secondo il documento di Ben Bolker disponibile qui .

mtcars$cyl <- as.factor(mtcars$cyl)         # Cylinders variable into factor w 3 levels
D <- mtcars  # The data set will be called D.
D <- D[order(D$cyl, decreasing = FALSE),]   # Ordering obs. for block matrices.

model.matrix(lm(mpg ~ wt * cyl, D))         # This is the model matrix for ANCOVA

Per quanto riguarda la parte della domanda su quale metodo usare (regressione con R!) Potresti trovare divertente questo commento online che mi sono imbattuto mentre scrivevo questo post.

La regressione di ANOVA e OLS è matematicamente identica nei casi in cui i tuoi predittori sono categorici (in termini di inferenze che stai ricavando dalla statistica del test). Per dirla in altro modo, ANOVA è un caso speciale di regressione. Non c'è nulla che un ANOVA possa dirti che la regressione non può derivare da sé. Il contrario, tuttavia, non è vero. ANOVA non può essere utilizzato per l'analisi con variabili continue. Come tale, ANOVA potrebbe essere classificata come la tecnica più limitata. La regressione, tuttavia, non è sempre utile per l'analista meno sofisticato. Ad esempio, la maggior parte degli script ANOVA genera automaticamente termini di interazione, dove come con la regressione spesso è necessario calcolare manualmente tali termini utilizzando il software. L'uso diffuso di ANOVA è in parte una reliquia dell'analisi statistica prima dell'uso di un software statistico più potente, e, a mio avviso, una tecnica più semplice da insegnare agli studenti inesperti il ​​cui obiettivo è una comprensione a livello relativamente superficiale che consentirà loro di analizzare i dati con un pacchetto statistico di base. Provalo qualche volta ... Esamina la statistica t che sputa una regressione di base, quadrala e poi confrontala con il rapporto F dell'ANOVA sugli stessi dati. ! identico

Il principale vantaggio di ANOVA ov rhe la regressione, secondo me, sta nell'output. Se sei interessato al significato statistico della variabile categoriale (fattore) come blocco, ANOVA ti offre questo test. Con la regressione, la variabile categoriale è rappresentata da 2 o più variabili fittizie, a seconda del numero di categorie, e quindi si hanno 2 o più test statistici, ognuno confrontando la media per la particolare categoria con la media della categoria nulla (o il media complessiva, a seconda del metodo di codifica fittizia). Nessuno di questi può essere di interesse. Pertanto, è necessario eseguire l'analisi post-stima (essenzialmente ANOVA) per ottenere il test complessivo del fattore a cui si è interessati.

Il principale vantaggio della regressione lineare è che è robusto per la violazione dell'omogeneità della varianza quando le dimensioni del campione tra i gruppi sono disuguali. Un altro è che facilita l'inclusione di diverse covariate (anche se questo può essere facilmente realizzato attraverso ANCOVA quando sei interessato a includere solo una covariata). La regressione si diffuse negli anni Settanta con l'avvento dei progressi nella potenza di calcolo. Potresti anche trovare la regressione più conveniente se sei particolarmente interessato ad esaminare le differenze tra livelli particolari di una variabile categoriale quando sono presenti più di due livelli (purché tu abbia impostato la variabile fittizia nella regressione in modo che uno di questi due livelli rappresenta il gruppo di riferimento).