Modello lineare classico - selezione del modello

Ho un modello lineare classico, con 5 possibili regressori. Non sono correlati tra loro e hanno una correlazione piuttosto bassa con la risposta. Sono arrivato a un modello in cui 3 dei regressori hanno coefficienti significativi per la loro statistica t (p <0,05). L'aggiunta di una o entrambe le restanti 2 variabili fornisce valori p> 0,05 per la statistica t, per le variabili aggiunte. Questo mi porta a credere che il modello a 3 variabili sia "migliore".

Tuttavia, usando il comando anova (a, b) in R dove a è il modello con 3 variabili eb è il modello completo, il valore p per la statistica F è <0,05, il che mi dice di preferire il modello completo rispetto alla variabile 3 modello. Come posso conciliare queste apparenti contraddizioni?

Grazie PS Modifica: qualche ulteriore sfondo. Si tratta di compiti a casa, quindi non pubblicherò i dettagli, ma non ci vengono forniti dettagli di ciò che rappresentano i regressori: sono solo numerati da 1 a 5. Ci viene chiesto di "derivare un modello appropriato, fornendo giustificazione".

Il problema è iniziato quando hai cercato un modello ridotto e hai utilizzato i dati anziché la conoscenza dell'argomento per scegliere i predittori. La selezione graduale delle variabili senza lo shinkage simultaneo per penalizzare la selezione delle variabili, sebbene spesso utilizzata, è un approccio non valido. Molto è stato scritto su questo. Non vi è motivo di ritenere che il modello a 3 variabili sia "migliore" e non vi è motivo di non utilizzare l'elenco originale dei predittori predefiniti. I valori P calcolati dopo aver usato i valori P per selezionare le variabili non sono validi. Questo è stato chiamato "doppio tuffo" nella letteratura di imaging funzionale.

Ecco un'analogia. Supponiamo che uno sia interessato a confrontare 6 trattamenti, ma usi t-test a coppie per scegliere quali trattamenti sono "diversi", risultando in una serie ridotta di 4 trattamenti. L'analista quindi verifica una differenza complessiva con 3 gradi di libertà. Questo test F avrà un errore di tipo I gonfiato. Il test F originale con 5 df è abbastanza valido.

Vedere http://www.stata.com/support/faqs/stat/stepwise.html e regressione graduale per ulteriori informazioni.

Una risposta sarebbe "questo non può essere fatto senza conoscenza dell'argomento". Sfortunatamente, questo probabilmente ti darebbe una F per il tuo incarico. A meno che non fossi il tuo professore. Quindi otterrebbe una A.

Ma, data la tua affermazione che $R^2$ è 0,03 e ci sono basse correlazioni tra tutte le variabili, sono perplesso che qualsiasi modello sia significativo. Che cos'è N? Immagino sia molto grande.

Poi c'è

tutti e 5 i predittori sono generati da simulazioni indipendenti da una distribuzione normale.

Bene, se lo SAPI (cioè il tuo istruttore ti ha detto) e se per "indipendente" intendi "non correlato al DV", allora sai che il modello migliore è uno senza predittori e la tua intuizione è corretta.

Potresti provare a fare la validazione incrociata. Scegli un sottoinsieme del tuo campione, trova il modello "migliore" per quel sottoinsieme usando i test F o t, quindi applicalo al set completo di dati (la validazione incrociata completa può diventare più complicata di così, ma sarebbe un buon inizio). Questo aiuta ad alleviare alcuni dei problemi di test graduali.

Vedi una nota sulle equazioni di regressione di screening di David Freedman per una simpatica piccola simulazione di questa idea.

Mi piace molto il metodo utilizzato nel caretpacchetto: eliminazione delle funzionalità ricorsive. Puoi leggere di più al riguardo nella vignetta , ma ecco il processo di base:

L'idea di base è quella di utilizzare un criterio (come le statistiche t) per eliminare le variabili non importanti e vedere come ciò migliora l'accuratezza predittiva del modello. Avvolgi il tutto in un ciclo di ricampionamento, come la convalida incrociata. Ecco un esempio, usando un modello lineare per classificare le variabili in un modo simile a quello che hai descritto:

#Setup
set.seed(1)
p1 <- rnorm(50)
p2 <- rnorm(50)
p3 <- rnorm(50)
p4 <- rnorm(50)
p5 <- rnorm(50)
y <- 4*rnorm(50)+p1+p2-p5

#Select Variables
require(caret)
X <- data.frame(p1,p2,p3,p4,p5)
RFE <- rfe(X,y, sizes = seq(1,5), rfeControl = rfeControl(
                    functions = lmFuncs,
                    method = "repeatedcv")
                )
RFE
plot(RFE)

#Fit linear model and compare
fmla <- as.formula(paste("y ~ ", paste(RFE$optVariables, collapse= "+")))
fullmodel <- lm(y~p1+p2+p3+p4+p5,data.frame(y,p1,p2,p3,p4,p5))
reducedmodel <- lm(fmla,data.frame(y,p1,p2,p3,p4,p5))
summary(fullmodel)
summary(reducedmodel)

In questo esempio, l'algoritmo rileva che ci sono 3 variabili "importanti", ma ne ottiene solo 2.