È sbagliato scegliere le funzionalità in base al valore p?

Esistono diversi post su come selezionare le funzionalità. Uno dei metodi descrive l'importanza delle funzionalità in base alle statistiche t. In R varImp(model)applicato su modello lineare con caratteristiche standardizzate viene utilizzato il valore assoluto della statistica t per ciascun parametro del modello. Quindi, fondamentalmente scegliamo una funzione in base alle sue statistiche t, il che significa quanto sia preciso il coefficiente. Ma la precisione del mio coefficiente mi dice qualcosa sulle capacità predittive della funzione?

Può succedere che la mia funzione abbia una statica t bassa ma che possa comunque migliorare (diciamo) l'accuratezza del modello? Se sì, quando si vorrebbe escludere le variabili in base alle statistiche t? Oppure fornisce solo un punto di partenza per verificare le capacità predittive di variabili non importanti?

La statistica t non può quasi avere nulla da dire sulla capacità predittiva di una funzione e non dovrebbe essere utilizzata per escludere il predittore o consentire ai predittori un modello predittivo.

I valori P indicano che le caratteristiche spurie sono importanti

Considera la seguente impostazione dello scenario in R. Creiamo due vettori, il primo è semplicemente lanci di monete casuali:$5000$

set.seed(154)
N <- 5000
y <- rnorm(N)

Il secondo vettore è osservazioni, ciascuna assegnata in modo casuale a una delle classi casuali di uguali dimensioni:$5000$$500$

N.classes <- 500
rand.class <- factor(cut(1:N, N.classes))

Ora adattiamo un modello lineare per prevedere ydato rand.classes.

M <- lm(y ~ rand.class - 1) #(*)

Il valore corretto per tutti i coefficienti è zero, nessuno di essi ha alcun potere predittivo. Tuttavia, molti di loro sono significativi al livello del 5%

ps <- coef(summary(M))[, "Pr(>|t|)"]
hist(ps, breaks=30)

In effetti, dovremmo aspettarci che circa il 5% di essi sia significativo, anche se non hanno un potere predittivo!

I valori P non riescono a rilevare caratteristiche importanti

Ecco un esempio nell'altra direzione.

set.seed(154)
N <- 100
x1 <- runif(N)
x2 <- x1 + rnorm(N, sd = 0.05)
y <- x1 + x2 + rnorm(N)

M <- lm(y ~ x1 + x2)
summary(M)

Ho creato due predittori correlati , ciascuno con un potere predittivo.

M <- lm(y ~ x1 + x2)
summary(M)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)   0.1271     0.2092   0.608    0.545
x1            0.8369     2.0954   0.399    0.690
x2            0.9216     2.0097   0.459    0.648

I valori p non riescono a rilevare il potere predittivo di entrambe le variabili perché la correlazione influenza la precisione con cui il modello può stimare i due coefficienti individuali dai dati.

Le statistiche inferenziali non sono lì per raccontare il potere predittivo o l'importanza di una variabile. È un abuso di queste misurazioni usarle in quel modo. Ci sono opzioni molto migliori disponibili per la selezione variabile nei modelli lineari predittivi, considera l'utilizzo glmnet.

(*) Nota che sto lasciando un'intercettazione qui, quindi tutti i confronti sono alla base di zero, non alla media di gruppo della prima classe. Questo è stato il suggerimento di @ whuber.

Dal momento che ha portato a una discussione molto interessante nei commenti, il codice originale era

rand.class <- factor(sample(1:N.classes, N, replace=TRUE))

e

M <- lm(y ~ rand.class)

che ha portato al seguente istogramma

La statistica t è influenzata dalla dimensione dell'effetto e dalla dimensione del campione. È possibile che la dimensione dell'effetto sia diversa da zero, ma la dimensione del campione non è abbastanza grande da renderla significativa.

$t=\left(\frac{\overline{x}}{s}\right) \sqrt{n}$

$\frac{\overline{x}}{s}$$\sqrt{n}$

Nel tuo caso qualsiasi funzione con effetto diverso da zero migliorerà le prestazioni ma potresti non disporre di dati sufficienti per rendere significativo il valore p di quella funzione.