Come ottenere l'intervallo di confidenza sul cambio di r-square della popolazione

Per un semplice esempio, supponiamo che ci siano due modelli di regressione lineare

• Modello 1 ha tre predittori, x1a, x2b, ex2c
• Il modello 2 ha tre predittori dal modello 1 e due predittori aggiuntivi x2aex2b

Esiste un'equazione di regressione della popolazione in cui la varianza della popolazione spiegata è per il Modello 1 e per il Modello 2. La varianza incrementale spiegata dal Modello 2 nella popolazione è ρ 2 ( 2 ) Δ ρ 2 = ρ 2 ( 2 ) - ρ 2 ( 1 $\rho^2_{(1)}$$\rho^2_{(2)}$$\Delta\rho^2 = \rho^2_{(2)} - \rho^2_{(1)}$

Sono interessato a ottenere errori standard e intervalli di confidenza per uno stimatore di . Mentre l'esempio riguarda rispettivamente 3 e 2 predittori, il mio interesse di ricerca riguarda una vasta gamma di diversi numeri di predittori (ad esempio, 5 e 30). Il mio primo pensiero è stato di usare \ Delta r ^ 2_ {agg} = r ^ 2_ {agg (2)} - r ^ 2_ {agg (1)} come stimatore e avviarlo, ma non ero sicuro che questo sarebbe essere appropriato. Δ r 2 a d j = r 2 a d j ( 2 ) - r 2 a d j ( 1 $\Delta\rho^2$$\Delta r^2_{adj} = r^2_{adj(2)} - r^2_{adj(1)}$

Domande

• È $\Delta r^2_{adj}$ una ragionevole stimatore $\Delta \rho^2$ ?
• Come si può ottenere un intervallo di confidenza per il cambiamento del quadrato r della popolazione (cioè, $\Delta\rho^2$ )?
• Bootstrapping $\Delta\rho^2$ sarebbe appropriato per il calcolo dell'intervallo di confidenza?

Anche i riferimenti a simulazioni o alla letteratura pubblicata sarebbero i benvenuti.

Codice di esempio

Se aiuta, ho creato un piccolo set di dati di simulazione in R che potrebbe essere usato per dimostrare una risposta:

n <- 100
x <- data.frame(matrix(rnorm(n *5), ncol=5))
names(x) <- c('x1a', 'x1b', 'x1c', 'x2a', 'x2b')
beta <- c(1,2,3,1,2)
model2_rho_square <- .7
error_rho_square <- 1 - model2_rho_square
error_sd <- sqrt(error_rho_square / model2_rho_square* sum(beta^2))
model1_rho_square <- sum(beta[1:3]^2) / (sum(beta^2) + error_sd^2)
delta_rho_square <- model2_rho_square - model1_rho_square

x$y <- rnorm(n, beta[1] * x$x1a + beta[2] * x$x1b + beta[3] * x$x1c +
               beta[4] * x$x2a + beta[5] * x$x2b, error_sd)

c(delta_rho_square, model1_rho_square, model2_rho_square)
summary(lm(y~., data=x))$adj.r.square - 
        summary(lm(y~x1a + x1b + x1c, data=x))$adj.r.square

Motivo della preoccupazione con bootstrap

Ho eseguito un bootstrap su alcuni dati con circa 300 casi e 5 predittori nel modello semplice e 30 predittori nel modello completo. Mentre la stima del campione usando la differenza rettificata r-quadrato era 0.116, l'intervallo di confidenza boostrapped era per lo più maggiore CI95% (da 0,095 a 0,214) e la media dei bootstrap non era da nessuna parte vicino alla stima del campione. Piuttosto, la media dei campioni boostrapped sembrava essere centrata sulla stima del campione della differenza tra i quadrati r nel campione. Questo nonostante il fatto che stavo usando i quadrati r rettificati del campione per stimare la differenza.

È interessante notare che ho provato un modo alternativo di calcolare come$\Delta\rho^2$

1. calcola la variazione del r-quadrato campione
2. regolare la modifica del rettangolo r del campione usando la formula r rettangolo standard

Quando viene applicato ai dati di esempio questo ha ridotto la stima di per , ma gli intervalli di confidenza sembrato opportuno per il metodo che ho citato prima, IC95% (.062, 0,179), con media di .118.$\Delta \rho^2$.082

In generale, sono preoccupato che il bootstrap supponga che il campione sia la popolazione, e quindi stima che la riduzione per overfitting potrebbe non funzionare in modo appropriato.

Popolazione $R^2$

In primo luogo sto cercando di capire la definizione della popolazione R al quadrato .

Citando il tuo commento:

Oppure potresti definirlo asintoticamente come la percentuale di varianza spiegata nel tuo campione mentre la dimensione del campione si avvicina all'infinito.

Penso che tu intenda questo è il limite del campione quando si replica il modello infinitamente più volte (con gli stessi predittori per ogni replica). $R^2$

Quindi qual è la formula per il valore asintotico del campione ? Scrivi il tuo modello lineare Y = μ + σ G come in https://stats.stackexchange.com/a/58133/8402 e usa le stesse notazioni di questo link. Quindi si può verificare che il campione R 2 vada a p o p R 2 : = $R^²$$\boxed{Y=\mu+\sigma G}$
$R^2$ quando si replica il modelloY=μ+σGinfinitamente più volte.$\boxed{popR^2:=\dfrac{\lambda}{n+\lambda}}$$Y=\mu+\sigma G$

Per esempio:

> ## design of the simple regression model lm(y~x0)
> n0 <- 10
> sigma <- 1
> x0 <- rnorm(n0, 1:n0, sigma)
> a <- 1; b <- 2 # intercept and slope
> params <- c(a,b)
> X <- model.matrix(~x0)
> Mu <- (X%*%params)[,1]
> 
> ## replicate this experiment k times 
> k <- 200
> y <- rep(Mu,k) + rnorm(k*n0)
> # the R-squared is:
> summary(lm(y~rep(x0,k)))$r.squared 
[1] 0.971057
> 
> # theoretical asymptotic R-squared:
> lambda0 <- crossprod(Mu-mean(Mu))/sigma^2
> lambda0/(lambda0+n0)
          [,1]
[1,] 0.9722689
> 
> # other approximation of the asymptotic R-squared for simple linear regression:
> 1-sigma^2/var(y)
[1] 0.9721834

Popolazione di un sottomodello$R^2$

Ora supponiamo che il modello sia con H 1 : μ ∈ W 1 e considera il modello H 0 : μ ∈ W 0 .$\boxed{Y=\mu+\sigma G}$$H_1\colon\mu \in W_1$$H_0\colon \mu \in W_0$

$R^2$$H_1$$\boxed{popR^2_1:=\dfrac{\lambda_1}{n+\lambda_1}}$$\boxed{\lambda_1=\frac{{\Vert P_{Z_1} \mu\Vert}^2}{\sigma^2}}$$Z_1=[1]^\perp \cap W_1$${\Vert P_{Z_1} \mu\Vert}^2=\sum(\mu_i - \bar \mu)^2$

$R^2$ $H_0$$R^2$$H_0$$H_1$

Piuttosto che rispondere alla domanda che mi hai posto, ho intenzione di chiedere perché lo fai. Presumo che tu voglia sapere se

mod.small <- lm(y ~ x1a + x1b + x1c, data=x)

è almeno buono come

mod.large <- lm(y ~ ., data=x)

a spiegare y. Poiché questi modelli sono nidificati, il modo ovvio per rispondere a questa domanda sembrerebbe essere quello di eseguire un'analisi della varianza confrontandoli, allo stesso modo in cui si potrebbe eseguire un'analisi della devianza per due GLM, come

anova(mod.small, mod.large)

Quindi potresti usare il miglioramento del R-quadrato campione tra i modelli come la tua ipotesi migliore su quale sarebbe il miglioramento adatto nella popolazione, sempre supponendo che tu possa dare un senso al R-quadrato della popolazione. Personalmente non sono sicuro di poterlo fare, ma con questo non importa in nessun modo.

Più in generale, se sei interessato alle quantità di popolazione, presumibilmente sei interessato alla generalizzazione, quindi una misura di adattamento del campione non è esattamente ciò che desideri, tuttavia "corretta". Ad esempio, la convalida incrociata di una certa quantità che stima l'ordinamento e la quantità di errori effettivi che ci si potrebbe aspettare dal campione, come MSE, sembrerebbe arrivare a quello che si desidera.

Ma è del tutto possibile che mi manchi qualcosa qui ...

$\rho^2$

Bootstrap r-quadrato a doppia regolazione

La mia ipotesi migliore per una risposta è quella di fare un bootstrap r-quadrato doppio rettificato. Ho implementato la tecnica. Implica quanto segue:

• Genera una serie di campioni bootstrap dai dati correnti.
• Per ogni campione avviato:
  • calcola il primo rettangolo r rettificato per i due modelli
  • calcola il secondo r-quadrato regolato sui valori r-quadrati regolati dal passaggio precedente
  • $\Delta \rho^2$

La logica è che il primo rettangolo r rettificato rimuove la distorsione introdotta dal bootstrap (ovvero, il bootstrap presuppone che il rettangolo di campionamento sia il quadratino di popolazione). Il secondo r-quadrato rettificato esegue la correzione standard che viene applicata a un campione normale per stimare il r-quadrato della popolazione.

A questo punto, tutto ciò che posso vedere è che l'applicazione di questo algoritmo genera stime che sembrano giuste (cioè, la theta_hat media nel bootstrap è molto vicina all'esempio theta_hat). L'errore standard si allinea con la mia intuizione. Non ho ancora verificato se fornisce un'adeguata copertura da parte dei frequentatori in cui è noto il processo di generazione dei dati, e non sono nemmeno del tutto sicuro a questo punto come l'argomento possa essere giustificato dai primi principi

Se qualcuno vede qualche motivo per cui questo approccio sarebbe problematico, sarei grato di sentirlo.

Simulazione di Algina et al

$\Delta \rho^2$

Smithson (2001) sull'uso del parametro noncentrality

$R^2$$f^2$$R^2$

Riferimenti

• Algina, J., Keselman, HJ e Penfield, RD Intervalli di confidenza per il coefficiente di correlazione semipartiale multiplo quadrato. PDF
• Smithson, M. (2001). Intervalli di confidenza corretti per varie dimensioni e parametri dell'effetto di regressione: L'importanza delle distribuzioni non centrali negli intervalli di calcolo. Misura educativa e psicologica, 61 (4), 605-632.