Come interpretare i coefficienti dall'adattamento di un modello polinomiale?

Sto cercando di creare un polinomio del secondo ordine adatto ad alcuni dati che ho. Diciamo che ho tracciato questo adattamento con ggplot():

ggplot(data, aes(foo, bar)) + geom_point() + 
       geom_smooth(method="lm", formula=y~poly(x, 2))

Ottengo:

Quindi, un secondo ordine funziona abbastanza bene. Lo calcolo con R:

summary(lm(data$bar ~ poly(data$foo, 2)))

E ottengo:

lm(formula = data$bar ~ poly(data$foo, 2))
# ...
# Coefficients:
#                     Estimate Std. Error t value Pr(>|t|)    
# (Intercept)         3.268162   0.008282 394.623   <2e-16 ***
# poly(data$foo, 2)1 -0.122391   0.096225  -1.272    0.206
# poly(data$foo, 2)2  1.575391   0.096225  16.372   <2e-16 ***
# ....

Ora, suppongo che la formula per la mia misura sia:

Ma questo mi dà solo i valori sbagliati. Ad esempio, con 3 mi aspetto che diventi qualcosa intorno a 3.15. Tuttavia, inserendo nella formula sopra ottengo: $\text{foo}$$\text{bar}$

Cosa dà? Sto interpretando erroneamente i coefficienti del modello?

La mia risposta dettagliata è di seguito, ma la risposta generale (cioè reale) a questo tipo di domanda è: 1) sperimentare, rovinare, guardare i dati, non si può rompere il computer indipendentemente da ciò che si fa, quindi. . . sperimentare; o 2) RTFM .

Ecco del Rcodice che replica più o meno il problema identificato in questa domanda:

# This program written in response to a Cross Validated question
# http://stats.stackexchange.com/questions/95939/
# 
# It is an exploration of why the result from lm(y_x+I(x^2))
# looks so different from the result from lm(y~poly(x,2))

library(ggplot2)


epsilon <- 0.25*rnorm(100)
x       <- seq(from=1, to=5, length.out=100)
y       <- 4 - 0.6*x + 0.1*x^2 + epsilon

# Minimum is at x=3, the expected y value there is
4 - 0.6*3 + 0.1*3^2

ggplot(data=NULL,aes(x, y)) + geom_point() + 
       geom_smooth(method = "lm", formula = y ~ poly(x, 2))

summary(lm(y~x+I(x^2)))       # Looks right
summary(lm(y ~ poly(x, 2)))   # Looks like garbage

# What happened?
# What do x and x^2 look like:
head(cbind(x,x^2))

#What does poly(x,2) look like:
head(poly(x,2))

Il primo lmrestituisce la risposta prevista:

Call:
lm(formula = y ~ x + I(x^2))

Residuals:
     Min       1Q   Median       3Q      Max 
-0.53815 -0.13465 -0.01262  0.15369  0.61645 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  3.92734    0.15376  25.542  < 2e-16 ***
x           -0.53929    0.11221  -4.806 5.62e-06 ***
I(x^2)       0.09029    0.01843   4.900 3.84e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.2241 on 97 degrees of freedom
Multiple R-squared:  0.1985,    Adjusted R-squared:  0.182 
F-statistic: 12.01 on 2 and 97 DF,  p-value: 2.181e-05

Il secondo lmrestituisce qualcosa di strano:

Call:
lm(formula = y ~ poly(x, 2))

Residuals:
     Min       1Q   Median       3Q      Max 
-0.53815 -0.13465 -0.01262  0.15369  0.61645 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  3.24489    0.02241 144.765  < 2e-16 ***
poly(x, 2)1  0.02853    0.22415   0.127    0.899    
poly(x, 2)2  1.09835    0.22415   4.900 3.84e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.2241 on 97 degrees of freedom
Multiple R-squared:  0.1985,    Adjusted R-squared:  0.182 
F-statistic: 12.01 on 2 and 97 DF,  p-value: 2.181e-05

Poiché lmè lo stesso nelle due chiamate, devono essere gli argomenti di lmcui sono diversi. Quindi, diamo un'occhiata agli argomenti. Ovviamente yè lo stesso. Sono le altre parti. Diamo un'occhiata alle prime osservazioni sulle variabili di destra nella prima chiamata di lm. Il ritorno di head(cbind(x,x^2))assomiglia a:

            x         
[1,] 1.000000 1.000000
[2,] 1.040404 1.082441
[3,] 1.080808 1.168146
[4,] 1.121212 1.257117
[5,] 1.161616 1.349352
[6,] 1.202020 1.444853

Questo è come previsto. La prima colonna è xe la seconda colonna è x^2. Che ne dici della seconda chiamata di lm, quella con poli? Il ritorno di head(poly(x,2))assomiglia a:

              1         2
[1,] -0.1714816 0.2169976
[2,] -0.1680173 0.2038462
[3,] -0.1645531 0.1909632
[4,] -0.1610888 0.1783486
[5,] -0.1576245 0.1660025
[6,] -0.1541602 0.1539247

OK, è davvero diverso. La prima colonna non lo è xe la seconda colonna no x^2. Quindi, qualunque cosa poly(x,2)faccia, non ritorna xe x^2. Se vogliamo sapere cosa polyfa, potremmo iniziare leggendo il suo file di aiuto. Quindi diciamo help(poly). La descrizione dice:

Restituisce o valuta i polinomi ortogonali di grado 1 in gradi rispetto all'insieme di punti specificato x. Questi sono tutti ortogonali al polinomio costante di grado 0. In alternativa, valutare i polinomi grezzi.

Ora, o sai cosa sono i "polinomi ortogonali" o no. Se non lo fai, usa Wikipedia o Bing (non Google, ovviamente, perché Google è malvagio, non tanto cattivo quanto Apple, naturalmente, ma comunque cattivo). Oppure potresti decidere che non ti importa cosa siano i polinomi ortogonali. Potresti notare la frase "polinomi grezzi" e potresti notare un po 'più in basso nel file della guida che polyha un'opzione rawche, per impostazione predefinita, è uguale a FALSE. Queste due considerazioni potrebbero ispirarti a provare head(poly(x, 2, raw=TRUE))quale restituisce:

            1        2
[1,] 1.000000 1.000000
[2,] 1.040404 1.082441
[3,] 1.080808 1.168146
[4,] 1.121212 1.257117
[5,] 1.161616 1.349352
[6,] 1.202020 1.444853

Eccitato da questa scoperta (sembra giusto, ora sì?), Potresti continuare a provare summary(lm(y ~ poly(x, 2, raw=TRUE))) Questo ritorna:

Call:
lm(formula = y ~ poly(x, 2, raw = TRUE))

Residuals:
     Min       1Q   Median       3Q      Max 
-0.53815 -0.13465 -0.01262  0.15369  0.61645 

Coefficients:
                        Estimate Std. Error t value Pr(>|t|)    
(Intercept)              3.92734    0.15376  25.542  < 2e-16 ***
poly(x, 2, raw = TRUE)1 -0.53929    0.11221  -4.806 5.62e-06 ***
poly(x, 2, raw = TRUE)2  0.09029    0.01843   4.900 3.84e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.2241 on 97 degrees of freedom
Multiple R-squared:  0.1985,    Adjusted R-squared:  0.182 
F-statistic: 12.01 on 2 and 97 DF,  p-value: 2.181e-05

Esistono almeno due livelli per la risposta sopra. Innanzitutto, ho risposto alla tua domanda. In secondo luogo, e molto più importante, ho illustrato come dovresti rispondere tu stesso a domande come questa. Ogni singola persona che "sa programmare" ha attraversato una sequenza come quella sopra sessanta milioni di volte. Anche le persone che sono depresse nella programmazione come me sono continuamente in questa sequenza. È normale che il codice non funzioni. È normale fraintendere le funzioni. Il modo per gestirlo è fare un giro, sperimentare, guardare i dati e RTFM. Esci dalla modalità "insensatamente seguendo una ricetta" e nella modalità "detective".

C'è un approccio interessante all'interpretazione della regressione polinomiale di Stimson et al. (1978) . Implica la riscrittura

$Y = \beta_{0} + \beta_{1} X + \beta_{2} X^{2} + u$

come

$Y = m + \beta_{2} \left( f - X \right)^{2} + u$

$m = \beta_{0} - \left. \beta_{1}^{2} \right/ 4 \beta_{2}$$\beta_{2}$$f = \left. -\beta_{1} \right/ 2 \beta_{2}$

Se vuoi solo una spinta nella giusta direzione senza troppi giudizi: poly()crea polinomi ortogonali (non correlati), al contrario I(), che ignora completamente la correlazione tra i polinomi risultanti. La correlazione tra variabili predittive può essere un problema nei modelli lineari (vedi qui per maggiori informazioni sul perché la correlazione può essere problematica), quindi è probabilmente meglio (in generale) usare poly()invece di I(). Ora, perché i risultati sembrano così diversi? Bene, entrambi poly()e I()prendi x e convertilo in una nuova x (nel caso di I(), la nuova x è solo x ^ 1 o x ^ 2, nel caso di poly(), le nuove x sono molto più complicate (se vuoi sapere da dove vengono (e probabilmente non lo fai), puoi iniziarequi o la suddetta pagina di Wikipedia o un libro di testo). Il punto è che quando si calcola (prevedendo) y in base a un particolare set di valori x, è necessario utilizzare i valori x convertiti prodotti da uno poly()o I()(a seconda di quale era nel modello lineare). Così:

library(ggplot2)    

set.seed(3)
epsilon <- 0.25*rnorm(100)
x       <- seq(from=1, to=5, length.out=100)
y       <- 4 - 0.6*x + 0.1*x^2 + epsilon

# Minimum is at x=3, the expected y value there is
4 - 0.6*3 + 0.1*3^2

ggplot(data=NULL,aes(x, y)) + geom_point() + 
   geom_smooth(method = "lm", formula = y ~ poly(x, 2))

modI <- lm(y~x+I(x^2)) 
summary(modI) # Looks right
modp <- lm(y ~ poly(x, 2))
summary(modp)  # Looks like garbage

# predict y using modI
coef(modI)[1] + coef(modI)[2] * 3^1 + coef(modI)[3] * 3^2

# predict y using modp
# calculate the new x values using predict.poly()
x_poly <- stats:::predict.poly(object = poly(x,2), newdata = 3)
coef(modp)[1] + coef(modp)[2] * x_poly[1] + coef(modp)[3] * x_poly[2]

In questo caso, entrambi i modelli restituiscono la stessa risposta, il che suggerisce che la correlazione tra le variabili predittive non sta influenzando i risultati. Se la correlazione fosse un problema, i due metodi prevederebbero valori diversi.

'poly' esegue l'orto-normalizzazione di Graham-Schmidt sui polinomi 1, x, x ^ 2, ..., x ^ deg Ad esempio questa funzione fa la stessa cosa di 'poly' senza restituire, naturalmente, gli attributi 'coef'.

MyPoly <- 
function(x, deg)
{
    n <- length(x)
    ans <- NULL
    for(k in 1:deg)
    {
        v <- x^k
        cmps <- rep(0, n)
        if(k>0) for(j in 0:(k-1)) cmps <- cmps + c(v%*%ans[,j+1])*ans[,j+1]
        p <- v - cmps
        p <- p/sum(p^2)^0.5
        ans <- cbind(ans, p)
    }
    ans[,-1]
}

Sono arrivato a questo thread perché ero interessato alla forma funzionale. Quindi, come possiamo esprimere il risultato di "poli" come espressione? Basta invertire la procedura di Graham-Schmidt. Finirai con un casino!