ANOVA fa affidamento sul metodo dei momenti e non sulla massima probabilità?


13

Vedo menzionato in vari punti che ANOVA fa la sua stima usando il metodo dei momenti.

Sono confuso da questa affermazione perché, anche se non ho familiarità con il metodo dei momenti, la mia comprensione è che è qualcosa di diverso e non equivalente al metodo della massima probabilità; d'altra parte, ANOVA può essere visto come una regressione lineare con predittori categorici e la stima OLS dei parametri di regressione è la massima probabilità.

Così:

  1. Cosa qualifica le procedure ANOVA come metodo dei momenti?

  2. Dato che ANOVA è equivalente a OLS con predittori categorici, non è la massima probabilità?

  3. Se questi due metodi si rivelano in qualche modo equivalenti nel caso particolare del solito ANOVA, ci sono alcune situazioni ANOVA specifiche in cui la differenza diventa importante? Design sbilanciato? Misure ripetute? Design misto (tra soggetti + entro soggetti)?


4
Nella semplice impostazione, e per semplice intendo ANOVA a una o due vie, ANOVA è derivato da un LRT in distribuzioni normali con varianze uguali, quindi viene utilizzata la massima probabilità. Naturalmente per il caso normale, gli stimatori mle e mom coincidono, quindi la distinzione non è di grande importanza. Nelle impostazioni più complesse, tuttavia, anziché derivare da LRT, facciamo affidamento sulla regressione OLS. L'OLS è solo la mle in una distribuzione normale ed è uno stimatore della mamma in un contesto più generale, se imponiamo l'ortogonalità con i residui che sono.
JohnK,

1
@JohnK, grazie mille per il tuo commento ma ho difficoltà a comprenderne alcune parti, in particolare la seconda parte: quali sono le "impostazioni più complesse" in cui ANOVA si basa su OLS anziché su LRT (e perché)? Perché OLS non è MLE in questa "impostazione più generale" - Ho pensato che gli errori normali siano sempre assunti in qualsiasi scenario ANOVA? Cosa deve fare l'ortogonalità con i residui? Apprezzerò molto se estendi il tuo commento in una risposta.
ameba dice Ripristina Monica il

2
@ameba. Ho modificato la mia risposta per rispondere al tuo primo punto sull'ANOVA come metodo di stima dei momenti. Questo è vero solo per gli effetti casuali.
Placidia,

Risposte:


12

Ho incontrato per la prima volta l'ANOVA quando ero uno studente del Master ad Oxford nel 1978. Gli approcci moderni, insegnando variabili continue e categoriche nel modello di regressione multipla, rendono difficile per i giovani statistici capire cosa sta succedendo. Quindi può essere utile tornare a tempi più semplici.

Nella sua forma originale, l'ANOVA è un esercizio di aritmetica in base al quale si suddivide la somma totale dei quadrati in pezzi associati a trattamenti, blocchi, interazioni, qualunque cosa. In un ambiente equilibrato, le somme di quadrati con un significato intuitivo (come SSB e SST) si sommano alla somma totale dei quadrati corretta. Tutto questo funziona grazie al teorema di Cochran . Usando Cochran, puoi calcolare i valori attesi di questi termini secondo le solite ipotesi nulle e le statistiche F scorrono da lì.

Come bonus, una volta che inizi a pensare a Cochran e alle somme di quadrati, ha senso continuare a tagliare e tagliare a cubetti le somme di quadrati di trattamento usando contrasti ortogonali. Ogni voce nella tabella ANOVA dovrebbe avere un'interpretazione di interesse per lo statistico e produrre un'ipotesi verificabile.

Di recente ho scritto una risposta in cui è emersa la differenza tra i metodi MOM e ML. La domanda si è rivolta alla stima di modelli di effetti casuali. A questo punto, il tradizionale approccio ANOVA separa totalmente la società con la massima stima della probabilità e le stime degli effetti non sono più le stesse. Quando il design è sbilanciato, non si ottengono nemmeno le stesse statistiche F.

σp2σ2σ2+nσp2nσB2^. L'ANOVA produce un metodo di stimatore dei momenti per la varianza dell'effetto casuale. Ora, tendiamo a risolvere tali problemi con modelli di effetti misti e i componenti di varianza sono ottenuti attraverso la stima della massima verosimiglianza o REML.

L'ANOVA in quanto tale non è un metodo di procedura dei momenti. Si accende dividendo la somma dei quadrati (o più in generale, una forma quadratica della risposta) in componenti che producono ipotesi significative. Dipende fortemente dalla normalità poiché vogliamo che le somme dei quadrati abbiano distribuzioni chi-quadrate affinché i test F funzionino.

Il quadro della massima verosimiglianza è più generale e si applica a situazioni come i modelli lineari generalizzati in cui non si applicano somme di quadrati. Alcuni software (come R) invitano alla confusione specificando i metodi anova ai test del rapporto di verosimiglianza con distribuzioni asintotiche del chi-quadrato. Si può giustificare l'uso del termine "anova", ma a rigor di termini, la teoria alla base è diversa.


2
Il test F dell'ANOVA unidirezionale e bidirezionale è un test del rapporto di verosimiglianza e puoi consultare Hogg e Craig, Intrduction to Mathematical Statistics, capitolo 9 se non mi credi. Inoltre, il test F utilizzato nella regressione normale è anche un LRT, numerosi riferimenti per quello là fuori.
JohnK,

1
Controllerò. Per ora, ho rimosso il paragrafo.
Placidia,

1
+1, grazie mille per la risposta. A proposito, è esattamente la tua risposta collegata che ha scatenato la mia domanda. Ci sono molte cose che non capisco bene in quello che hai scritto. Viaggerò per Capodanno e non avrò tempo di pensarci, ma tornerò su questa discussione una volta tornato a gennaio. Nel frattempo, vorrei incoraggiare ancora una volta @JohnK a pubblicare una risposta espandendo i punti che ha fatto nei commenti. Gradirei in particolare qualche spiegazione più tecnica, forse con un esempio specifico. Buon Natale e felice anno nuovo a tutti voi!
ameba dice Ripristina Monica il

1
Buon Natale anche a te. Nel mio post collegato, stavo solo pensando alla stima della varianza dell'effetto casuale, che è MOM nell'approccio tradizionale. Scusate se la mia osservazione sembrava più generale di quanto volessi.
Placidia,

2
Dopo 1,5 anni ho riletto la tua risposta e mi sono reso conto che è abbastanza chiaro, quindi alla fine l'ho contrassegnato come accettato :-) Saluti.
ameba dice Reinstate Monica il
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.