Perché l'ANOVA viene insegnato / usato come se fosse una metodologia di ricerca diversa rispetto alla regressione lineare?

ANOVA è equivalente alla regressione lineare con l'uso di variabili fittizie adatte. Le conclusioni rimangono le stesse indipendentemente dal fatto che si usi ANOVA o regressione lineare.

Alla luce della loro equivalenza, c'è qualche motivo per cui viene utilizzato ANOVA invece della regressione lineare?

Nota: sono particolarmente interessato a conoscere le ragioni tecniche per l'uso di ANOVA anziché la regressione lineare.

modificare

Ecco un esempio usando ANOVA a senso unico. Supponiamo che tu voglia sapere se l'altezza media di maschi e femmine è la stessa. Per verificare la tua ipotesi, dovresti raccogliere dati da un campione casuale di maschi e femmine (diciamo 30 ciascuno) ed eseguire l'analisi ANOVA (ovvero la somma dei quadrati per genere ed errore) per decidere se esiste un effetto.

È inoltre possibile utilizzare la regressione lineare per verificare ciò come segue:

Definisci: se il rispondente è un maschio e altrimenti. dove:0 Altezza = Intercetta + β ∗ Genere + errore errore ∼ N ( 0 , σ 2$\text{Gender} = 1$$0$

Quindi un test per verificare se è un test equivalente per la tua ipotesi.$\beta = 0$

Come economista, l'analisi della varianza (ANOVA) viene insegnata e generalmente compresa in relazione alla regressione lineare (ad es. In A Course in Econometrics di Arthur Goldberger ). Gli economisti / econometrici in genere considerano l'ANOVA poco interessante e preferiscono passare direttamente ai modelli di regressione. Dal punto di vista dei modelli lineari (o anche lineari generalizzati), ANOVA assegna coefficienti in lotti, con ciascun lotto corrispondente a una "fonte di variazione" nella terminologia ANOVA.

Generalmente è possibile replicare le inferenze che si otterrebbero da ANOVA usando la regressione ma non sempre la regressione OLS. Sono necessari modelli multilivello per l'analisi di strutture di dati gerarchiche come "progetti a trama divisa", in cui gli effetti tra gruppi vengono confrontati con errori a livello di gruppo e gli effetti all'interno di gruppo vengono confrontati con errori a livello di dati. L'articolo di Gelman [1] esamina in dettaglio questo problema e sostiene efficacemente che ANOVA è un importante strumento statistico che dovrebbe ancora essere insegnato per se stesso.

In particolare Gelman sostiene che ANOVA è un modo di comprendere e strutturare modelli multilivello. Pertanto ANOVA non è un'alternativa alla regressione ma come uno strumento per riassumere inferenze complesse ad alta dimensione e per l'analisi dei dati esplorativi.

Gelman è uno statistico molto rispettato e una certa credenza dovrebbe essere data al suo punto di vista. Tuttavia, quasi tutto il lavoro empirico che faccio sarebbe ugualmente ben servito dalla regressione lineare e quindi cado fermamente nel campo di vederlo come un po 'inutile. Alcune discipline con progetti di studio complessi (ad es. Psicologia) possono trovare utile ANOVA.

[1] Gelman, A. (2005). Analisi della varianza: perché è più importante che mai (con discussione). Annali delle statistiche 33, 1–53. doi: 10,1214 / 009053604000001048

Penso che il secondo paragrafo di Graham sia al centro della questione. Sospetto che non sia tanto tecnico che storico, probabilmente a causa dell'influenza dei " Metodi statistici per i ricercatori " e della facilità di insegnamento / applicazione dello strumento per i non statistici nell'analisi sperimentale che coinvolge fattori discreti, piuttosto che approfondire la costruzione di modelli e strumenti associati. In statistica, l'ANOVA viene di solito insegnato come un caso speciale di regressione. (Penso che questo sia simile al motivo per cui la biostatistica è piena di una miriade di "test" omonimi piuttosto che enfatizzare la costruzione di modelli.)

Direi che alcuni di voi usano il termine regressione quando dovreste usare un modello lineare generale. Penso alla regressione come a un glm che coinvolge covariate continue. Quando le covariate continue sono combinate con variabili fittizie che dovrebbero essere chiamate analisi della covarianza. Se vengono utilizzate solo variabili fittizie, ci riferiamo a quella forma speciale di glm come analisi della varianza. Penso che l'analisi della varianza abbia un secondo significato distinto come la procedura per testare coefficienti significativi in ​​un glm usando la decomposizione della varianza in componenti del termine del modello e componente del termine dell'errore.

ANOVA può essere utilizzato con variabili esplicative categoriche (fattori) che accettano più di 2 valori (livelli) e fornisce un test di base che la risposta media è la stessa per ogni valore. Questo evita il problema di regressione quando si effettuano più test t a coppie tra questi livelli:

• T-test multipli su un livello di significatività del 5% fisso, farebbero ottenere risultati errati all'incirca al 5%.
• Questi test non sono indipendenti l'uno dall'altro. Il confronto dei livelli di A con quelli di B è collegato al confronto tra A e C, poiché i dati di A vengono utilizzati in entrambi i test.

È meglio usare i contrasti per diverse combinazioni sui livelli di fattore che si desidera testare.

ANOVA stai testando se ci sono differenze significative tra la popolazione significa supponendo che stai confrontando più di due mezzi di popolazione, quindi userai un test F.

Nell'analisi di regressione si crea un modello tra variabili indipendenti e una variabile dipendente. Se si dispone di una variabile indipendente con quattro livelli, è possibile utilizzare tre variabili fittizie ed eseguire un modello di regressione. Il test F per il modello di regressione che viene utilizzato per verificare la significatività del modello di regressione è lo stesso della F che si ottiene quando si verifica la differenza tra la popolazione. Se si esegue una regressione graduale, alcune delle variabili fittizie potrebbero essere eliminate dal modello e il valore F sarà diverso da quello quando si esegue il test ANOVA.