Logica dietro il test F ANOVA in semplice regressione lineare

Sto cercando di comprendere la logica alla base del test F ANOVA nell'analisi di regressione lineare semplice. La domanda che ho è la seguente. Quando il valore F, ovvero MSR/MSEè grande, accettiamo il modello come significativo. Qual è la logica dietro questo?

Nel caso più semplice, quando si ha un solo predittore (regressione semplice), dire , il test F indica se l'inclusione di X 1 spiega una parte maggiore della varianza osservata in $X_1$$F$$X_1$$Y$ rispetto al modello nullo (solo intercettazione) . L'idea è quindi di verificare se la varianza spiegata aggiunta (varianza totale, TSS, varianza residua meno, RSS) è abbastanza grande da essere considerata una "quantità significativa". Stiamo qui confrontando un modello con un predittore, o variabile esplicativa, con una linea di base che è solo "rumore" (nient'altro che la media media).

Allo stesso modo, puoi calcolare una statistica in un'impostazione di regressione multipla: in questo caso, equivale a un test di tutti i predittori inclusi nel modello, che sotto il framework HT significa che ci chiediamo se qualcuno di essi sia utile nel prevedere la risposta variabile. Questo è il motivo per cui potresti incontrare situazioni in cui il test F per l'intero modello è significativo mentre alcuni dei t o $F$$F$$t$$z$ test associati a ciascun coefficiente di regressione non lo sono.

La statistica sembra$F$

dove è il numero di parametri del modello e n il numero di osservazioni. Questa quantità dovrebbe essere riferita ad una distribuzione F p - 1 , n - p per un valore critico o p . Si applica anche al modello di regressione semplice e ovviamente presenta una certa analogia con il classico quadro ANOVA.$p$$n$$F_{p-1,n-p}$$p$

Nota a margine. Quando hai più di un predittore, allora potresti chiederti se considerare solo un sottoinsieme di quei predittori "riduce" la qualità dell'adattamento del modello. Ciò corrisponde a una situazione in cui consideriamo i modelli nidificati . Questa è esattamente la stessa situazione di quelle sopra, in cui confrontiamo un dato modello di regressione con un modello nullo (nessun predittore incluso). Al fine di valutare la riduzione della varianza spiegata, possiamo confrontare la somma residua dei quadrati (RSS) di entrambi i modelli (ovvero, ciò che resta inspiegabile una volta che si tiene conto dell'effetto dei predittori presenti nel modello). Lasciate che e M 1 denotino il modello base (con $\mathcal{M}_0$$\mathcal{M}_1$$p$parametri) e un modello con un predittore aggiuntivo ( parametri ), quindi se RSS M 1 - RSS M 0 è piccolo, considereremmo che il modello più piccolo funziona bene come quello più grande. Una buona statistica da usare sarebbe il rapporto di tali SS, ( RSS M 1 - RSS M 0 ) / RSS M 0 , ponderato per i loro gradi di libertà ( p - q per il numeratore, e n - $q=p+1$$\text{RSS}_{\mathcal{M}_1}-\text{RSS}_{\mathcal{M}_0}$$(\text{RSS}_{\mathcal{M}_1}-\text{RSS}_{\mathcal{M}_0})/\text{RSS}_{\mathcal{M}_0}$$p-q$$n-p$ per il denominatore). Come già detto, si può dimostrare che questa quantità segue una $F$ (o Fisher-Snedecor) con gradi di libertà e n - p . Se la F osservata è maggiore del corrispondente F quantile in un dato α (tipicamente, α = 0,05 ), concluderemmo che il modello più grande fa un "lavoro migliore". (Questo non implica affatto che il modello sia corretto, da un punto di vista pratico!)$p-q$$n-p$$F$$F$$\alpha$$\alpha=0.05$

Una generalizzazione dell'idea sopra è il test del rapporto di verosimiglianza .

Se stai usando R, puoi giocare con i concetti sopra come questo:

df <- transform(X <- as.data.frame(replicate(2, rnorm(100))), 
                                   y = V1+V2+rnorm(100))
## simple regression
anova(lm(y ~ V1, df))         # "ANOVA view"
summary(lm(y ~ V1, df))       # "Regression view"
## multiple regression
summary(lm0 <- lm(y ~ ., df))
lm1 <- update(lm0, . ~ . -V2) # reduced model
anova(lm1, lm0)               # test of V2