Qual è la relazione tra R-quadrato e valore p in una regressione?

tl; dr - per la regressione OLS, un R-quadrato più alto implica anche un valore P più alto? In particolare per una singola variabile esplicativa (Y = a + bX + e) ​​ma sarebbe anche interessato a conoscere n più variabili esplicative (Y = a + b1X + ... bnX + e).

Contesto: sto eseguendo la regressione OLS su un intervallo di variabili e sto cercando di sviluppare la migliore forma funzionale esplicativa producendo una tabella contenente i valori R al quadrato tra le trasformazioni lineari, logaritmiche, ecc. Di ciascuna variabile esplicativa (indipendente) e la variabile di risposta (dipendente). Questo assomiglia un po 'a:

Nome della variabile --lineare-- --ln (variabile) --exp (variabile) - ... ecc

Variabile 1 ------- R-quadrato ---- R-quadrato ---- R-quadrato -
... ecc ...

Mi chiedo se R-quadrato sia appropriato o se i valori di P siano migliori. Presumibilmente c'è qualche relazione, poiché una relazione più significativa implicherebbe un potere esplicativo più elevato, ma non sono sicuro che ciò sia vero in modo rigoroso.

La risposta è no, non esiste una relazione così regolare tra $R^2$ e il valore p di regressione generale, perché $R^2$ dipende tanto dalla varianza delle variabili indipendenti quanto dalla varianza dei residui (a cui è inversamente proporzionale) e sei libero di modificare la varianza delle variabili indipendenti di importi arbitrari.

Come esempio, considerare ogni insieme di dati multivariati con i indicizzazione casi e supponiamo che l'insieme dei valori della prima variabile indipendente, { x i 1 } , ha un unico massimo x ∗ separato dal secondo valore più alto da un importo positivo ϵ . Applicare una trasformazione non lineare della prima variabile che invia tutti i valori meno di$((x_{i1}, x_{i2}, \ldots, x_{ip}, y_i))$$i$$\{x_{i1}\}$$x^*$$\epsilon$$x^* - \epsilon/2$ all'intervallo$[0,1]$ e invia$x^*$ stesso a un valore di grandi dimensioni$M \gg 1$ . Per qualsiasi simile,$M$ciò può essere fatto mediante una trasformazione Box-Cox (ridimensionata) adatta$x \to a((x-x_0)^\lambda - 1)/(\lambda-1))$ , ad esempio, quindi non stiamo parlando di qualcosa di strano o "patologico". Quindi, come$M$cresce arbitrariamente grande, avvicina a 1 quanto più ti piace, indipendentemente da quanto sia grave l'adattamento, perché la varianza dei residui sarà limitata mentre la varianza della prima variabile indipendente è asintoticamente proporzionale a M 2 .$R^2$$1$$M^2$

Si dovrebbe essere invece di usare la bontà dei test in forma (tra le altre tecniche) per selezionare un modello adeguato nella vostra esplorazione: si dovrebbe essere preoccupato per la linearità della forma e della omoschedasticità dei residui. E non prendere alcun valore p dalla risultante regressione sulla fiducia: finiranno per essere quasi insignificanti dopo aver svolto questo esercizio, perché la loro interpretazione presuppone che la scelta di esprimere le variabili indipendenti non dipenda dai valori della variabile dipendente, il che non è affatto il caso qui.

Questa risposta non affronta direttamente la domanda centrale; non è altro che alcune informazioni aggiuntive troppo lunghe per un commento.

Lo sottolineo perché la domanda econometricstats incontrerà senza dubbio queste informazioni, o qualcosa del genere ad un certo punto (affermando che e R 2 sono correlati) e mi chiedo se le informazioni fornite in altre risposte qui siano sbagliate - non è sbagliato - ma penso paga essere chiari su ciò che sta succedendo.$F$$R^2$

C'è una relazione in un particolare insieme di circostanze; se si tiene il numero di osservazioni e il numero di predittori fissi per un dato modello, è in effetti monotonico in R 2 , poiché$F$$R^2$

(Se dividi numeratore e denominatore per e estrai le costanti in k , puoi vedere 1 / F ∝ 1 / R 2 - 1 se mantieni costante N e k .)$R^2$$k$$1/F \propto 1/R^2 - 1$$N$$k$

Poiché per df fisso e il valore p sono monotonicamente correlati, anche R 2 e il valore p sono monotonicamente correlati.$F$$R^2$$p$

Ma cambia quasi tutto sul modello e quella relazione non tiene conto delle circostanze mutate.

Ad esempio, aggiungere un punto rende più grande e rimuoverne uno più piccolo ma farlo può aumentare o diminuire R 2 , quindi sembra che F e R 2 non si muovano necessariamente insieme se aggiungi o elimini dati. L'aggiunta di una variabile diminuisce ( N - k ) / ( k - 1 ) ma aumenta R 2 (e viceversa), quindi di nuovo R 2 non è necessariamente correlato a$(N-k)/(k-1)$$R^2$$F$$R^2$ $(N-k)/(k-1)$$R^2$$R^2$ quando lo fai.$F$

Clearly, once you compare $R^2$ and $p$-values across models with different characteristics, this relationship doesn't necessarily hold, as whuber proved in the case of nonlinear transformations.

"for OLS regression, does a higher R-squared also imply a higher P-value? Specifically for a single explanatory variable (Y = a + bX + e) "

Specifically for a single explanatory variable, given the sample size, the answer is yes. As Glen_b has explained, there is a direct relationship between $R^2$ and the test statistic (be it a $F$ or $t$). For instance, as explained in this other question (High $R^2$ squared and high $p$-value for simple linear regression) for the simple linear regression with one covariate (and a constant), the relationship between $t$ and $R^2$ is:

$|t| = \sqrt{\frac{R^2}{(1- R^2)}(n -2)}$

So in this case, once you fix $n$, the higher the $R^2$ the higher the $t$ statistic and the lower the p-value.

"but would also be interested to know for n multiple explanatory variables (Y = a + b1X + ... bnX + e)."

The answer is the same, but instead of looking at one variable only, we now look at all variables together -- hence the $F$ statistic, as Glen_b has shown. And here you have to fix both $n$ and the number of parameters. Or, to put it better, fix the degrees of freedom.

Context - I'm performing OLS regression on a range of variables and am trying to develop the best explanatory functional form (...)

Ok, so this is actually a different problem. If you are looking at the best explanatory functional form, you should also take a look at cross-validation techniques. Even if $R^2$ is the quantity of interest for your problem (it usually isn't), finding the best fit in-sample can be very misleading -- you usually want your findings to generalize out of sample, and proper cross-validation can help you not overfit your data too much.

And here I'm guessing that you want "predictive" power (since you say you want to find "the best explanatory functional form"). If you want to do causal inference, for instance, then the $R^2$ or other predictive performance metrics are of little help without more structural/substantive knowledge of the problem.