Qual è la distribuzione di nella regressione lineare sotto l'ipotesi nulla? Perché la sua modalità non è zero quando ?

Qual è la distribuzione del coefficiente di determinazione, o R al quadrato, , nella regressione multipla univariata lineare sotto l'ipotesi nulla ?$R^2$$H_0:\beta=0$

In che modo dipende dal numero di predittori e dal numero di campioni ? Esiste un'espressione a forma chiusa per la modalità di questa distribuzione?$k$$n>k$

In particolare, ho la sensazione che per la regressione semplice (con un predittore ) questa distribuzione abbia modalità a zero, ma per la regressione multipla la modalità ha un valore positivo diverso da zero. Se questo è davvero vero, esiste una spiegazione intuitiva di questa "transizione di fase"?$x$

---

Aggiornare

Come mostrato da @Alecos di seguito, la distribuzione raggiunge un picco pari a zero quando e e non a zero quando . Sento che dovrebbe esserci una visione geometrica su questa transizione di fase. Considera la vista geometrica di OLS: è un vettore in , definisce lì un sottospazio k -dimensionale. OLS equivale a proiettare \ mathbf y su questo sottospazio e R ^ 2 è il coseno quadrato dell'angolo tra \ mathbf y e la sua proiezione \ hat {\ mathbf y} .$k=2$$k=3$$k>3$$\mathbf y$$\mathbb R^n$$\mathbf X$$k$$\mathbf y$$R^2$y $\mathbf y$$\hat{\mathbf y}$

Ora, dalla risposta di @Alecos, ne consegue che se tutti i vettori sono casuali, la distribuzione di probabilità di questo angolo raggiungerà il picco a $90^\circ$ per $k=2$ e $k=3$ , ma avrà una modalità con un altro valore $<90^\circ$ per $k>3$ . Perché?!

---

Aggiornamento 2: sto accettando la risposta di Alecos, ma ho ancora la sensazione che mi sto perdendo alcune informazioni importanti qui. Se qualcuno dovesse mai suggerire un'altra visione (geometrica o meno) di questo fenomeno che lo renderebbe "ovvio", sarò felice di offrire una generosità.

Per l'ipotesi specifica (che tutti i coefficienti regressori sono zero, escluso il termine costante, che non viene esaminato in questo test) e sotto la normalità, sappiamo (vedi ad esempio Maddala 2001, p. 155, ma nota che lì $k$ conta regressori senza il termine costante, quindi l'espressione appare leggermente diversa) rispetto alla statistica

$$F = \frac {n-k}{k-1}\frac {R^2}{1-R^2}$$ è distribuito come unavariabile casuale$F(k-1, n-k)$.

Nota che sebbene non testiamo il termine costante, $k$ conta anche.

Muovendo le cose,

$$(k-1)F - (k-1)FR^2 = (n-k)R^2 \Rightarrow (k-1)F = R^2\big[(n-k) + (k-1)F\big]$$

$$\Rightarrow R^2 = \frac {(k-1)F}{(n-k) + (k-1)F}$$

Ma il lato destro è distribuito come una distribuzione Beta , in particolare

$$R^2 \sim Beta\left (\frac {k-1}{2}, \frac {n-k}{2}\right)$$

La modalità di questa distribuzione è

$$\text{mode}R^2 = \frac {\frac {k-1}{2}-1}{\frac {k-1}{2}+ \frac {n-k}{2}-2} =\frac {k-3}{n-5}$$

MODALITÀ FINITA E UNICA
Dalla relazione di cui sopra possiamo dedurre che per la distribuzione deve avere una modalità unica e finita che dobbiamo avere

$$k\geq 3, n >5$$

Ciò è coerente con il requisito generale per una distribuzione Beta, che è

$$\{\alpha >1 , \beta \geq 1\},\;\; \text {OR}\;\; \{\alpha \geq1 , \beta > 1\}$$

come si può dedurre da questo thread CV o leggere qui .
Nota che se { α = 1 , β = 1 } , otteniamo la distribuzione Uniforme, quindi tutti i punti di densità sono modi (finiti ma non unici). Il che crea la domanda: perché, se k = 3 , n = 5 , R 2 è distribuito come U ( 0 , 1 ) ?$\{\alpha =1 , \beta = 1\}$$k=3, n=5$$R^2$$U(0,1)$

IMPLICAZIONI
Supponi di avere k = 5 regressori (inclusa la costante) e n = 99 osservazioni. Bella regressione, nessun eccesso di adattamento. Poi$k=5$$n=99$

$$R^2\Big|_{\beta=0} \sim Beta\left (2, 47\right), \text{mode}R^2 = \frac 1{47} \approx 0.021$$

e diagramma di densità

Intuizione per favore: questa è la distribuzione di R 2 secondo l'ipotesi che nessun regressore appartenga effettivamente alla regressione. Quindi a) la distribuzione è indipendente dai regressori, b) man mano che la dimensione del campione aumenta, la sua distribuzione si concentra verso lo zero poiché le informazioni aumentate inondano la variabilità del piccolo campione che può produrre un certo "adattamento" ma anche c) come il numero di regressori irrilevanti aumenta a seconda della dimensione del campione, la distribuzione si concentra verso 1 e abbiamo il fenomeno dell '"adattamento spurio". $R^2$$1$

Ma nota anche quanto sia "facile" rifiutare l'ipotesi nulla: nell'esempio particolare, per R 2 = 0,13 la probabilità cumulativa ha già raggiunto 0,99 , quindi un R 2 > 0,13 ottenuto respingerà il nulla di "regressione insignificante" a livello di significatività 1 %.$R^2=0.13$$0.99$$R^2>0.13$$1$

ADDENDUM
Per rispondere al nuovo problema relativo alla modalità di distribuzione R 2 , posso offrire la seguente linea di pensiero (non geometrica), che lo collega al fenomeno "adattamento spurio": quando eseguiamo i minimi quadrati su un set di dati , essenzialmente risolviamo un sistema di n equazioni lineari con k incognite (l'unica differenza rispetto alla matematica del liceo è che all'epoca chiamavamo "coefficienti noti" ciò che nella regressione lineare chiamiamo "variabili / regressori", "sconosciuto x" ciò che noi ora chiamiamo "coefficienti sconosciuti" e "termini costanti" ciò che sappiamo chiamare "variabile dipendente"). Finché k < $R^2$$n$$k$$k<n$il sistema è troppo identificato e non esiste una soluzione esatta, solo approssimativa e la differenza emerge come "varianza inspiegabile della variabile dipendente", che viene catturata da 1 - R 2 . Se k = n il sistema ha una soluzione esatta (assumendo l'indipendenza lineare). Nel mezzo, quando aumentiamo il numero di k , riduciamo il "grado di sovraidentificazione" del sistema e "ci spostiamo" verso la singola soluzione esatta. Sotto questo punto di vista, ha senso il motivo per cui R 2 aumenta in maniera spuria con l'aggiunta di regressioni irrilevanti e, di conseguenza, perché la sua modalità si sposta gradualmente verso 1 , poiché k aumenta$1-R^2$$k=n$$k$$R^2$$1$$k$n .$n$

I won't rederive the $\mathrm{Beta}(\frac{k-1}{2}, \, \frac{n-k}{2})$ distribution in @Alecos's excellent answer (it's a standard result, see here for another nice discussion) but I want to fill in more details about the consequences! Firstly, what does the null distribution of $R^2$ look like for a range of values of $n$ and $k$? The graph in @Alecos's answer is quite representative of what occurs in practical multiple regressions, but sometimes insight is gleaned more easily from smaller cases. I've included the mean, mode (where it exists) and standard deviation. The graph/table deserves a good eyeball: best viewed at full-size. I could have included less facets but the pattern would have been less clear; I have appended R code so that readers can experiment with different subsets of $n$ and $k$.

Values of shape parameters

The graph's colour scheme indicates whether each shape parameter is less than one (red), equal to one (blue), or more than one (green). The left-hand side shows the value of $\alpha$ while $\beta$ is on the right. Since $\alpha = \frac{k-1}{2}$, its value increases in arithmetic progression by a common difference of $\frac{1}{2}$ as we move right from column to column (add a regressor to our model) whereas, for fixed $n$, $\beta = \frac{n-k}{2}$ decreases by $\frac{1}{2}$. The total $\alpha + \beta = \frac{n-1}{2}$ is fixed for each row (for a given sample size). If instead we fix $k$ and move down the column (increase sample size by 1), then $\alpha$ stays constant and $\beta$ increases by $\frac{1}{2}$. In regression terms, $\alpha$ is half the number of regressors included in the model, and $\beta$ is half the residual degrees of freedom. To determine the shape of the distribution we are particularly interested in where $\alpha$ or $\beta$ equal one.

The algebra is straightforward for $\alpha$: we have $\frac{k-1}{2}=1$ so $k=3$. This is indeed the only column of the facet plot that's filled blue on the left. Similarly $\alpha < 1$ for $k<3$ (the $k=2$ column is red on the left) and $\alpha > 1$ for $k>3$ (from the $k=4$ column onwards, the left side is green).

For $\beta=1$ we have $\frac{n-k}{2}=1$ hence $k=n-2$. Note how these cases (marked with a blue right-hand side) cut a diagonal line across the facet plot. For $\beta > 1$ we obtain $k < n - 2$ (the graphs with a green left side lie to the left of the diagonal line). For $\beta < 1$ we need $k > n - 2$, which involves only the right-most cases on my graph: at $n=k$ we have $\beta=0$ and the distribution is degenerate, but $n=k-1$ where $\beta = \frac{1}{2}$ is plotted (right side in red).

Since the PDF is $f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1}$, it is clear that if (and only if) $\alpha<1$ then $f(x) \to \infty$ as $x \to 0$. We can see this in the graph: when the left side is shaded red, observe the behaviour at 0. Similarly when $\beta<1$ then $f(x) \to \infty$ as $x \to 1$. Look where the right side is red!

Symmetries

One of the most eye-catching features of the graph is the level of symmetry, but when the Beta distribution is involved, this shouldn't be surprising!

The Beta distribution itself is symmetric if $\alpha = \beta$. For us this occurs if $n = 2k-1$ which correctly identifies the panels $(k=2, n=3)$, $(k=3, n=5)$, $(k=4, n=7)$ and $(k=5, n=9)$. The extent to which the distribution is symmetric across $R^2 = 0.5$ depends on how many regressor variables we include in the model for that sample size. If $k = \frac{n+1}{2}$ the distribution of $R^2$ is perfectly symmetric about 0.5; if we include fewer variables than that it becomes increasingly asymmetric and the bulk of the probability mass shifts closer to $R^2 = 0$; if we include more variables then it shifts closer to $R^2 = 1$. Remember that $k$ includes the intercept in its count, and that we are working under the null, so the regressor variables should have coefficient zero in the correctly specified model.

There is also an obviously symmetry between distributions for any given $n$, i.e. any row in the facet grid. For example, compare $(k=3, n=9)$ with $(k=7, n=9)$. What's causing this? Recall that the distribution of $\mathrm{Beta}(\alpha, \beta)$ is the mirror image of $\mathrm{Beta}(\beta, \alpha)$ across $x=0.5$. Now we had $\alpha_{k,n} = \frac{k-1}{2}$ and $\beta_{k,n} = \frac{n-k}{2}$. Consider $k'=n-k+1$ and we find:

$$\alpha_{k',n} = \frac{(n-k+1)-1}{2} = \frac{n-k}{2} = \beta_{k,n}$$ $$\beta_{k',n} = \frac{n-(n-k+1)}{2} = \frac{k-1}{2} = \alpha_{k,n}$$

So this explains the symmetry as we vary the number of regressors in the model for a fixed sample size. It also explains the distributions that are themselves symmetric as a special case: for them, $k' = k$ so they are obliged to be symmetric with themselves!

This tells us something we might not have guessed about multiple regression: for a given sample size $n$, and assuming no regressors have a genuine relationship with $Y$, the $R^2$ for a model using $k-1$ regressors plus an intercept has the same distribution as $1 - R^2$ does for a model with $k-1$ residual degrees of freedom remaining.

Special distributions

When $k=n$ we have $\beta=0$, which isn't a valid parameter. However, as $\beta \to 0$ the distribution becomes degenerate with a spike such that $\mathsf{P}(R^2 = 1)=1$. This is consistent with what we know about a model with as many parameters as data points - it achieves perfect fit. I haven't drawn the degenerate distribution on my graph but did include the mean, mode and standard deviation.

When $k=2$ and $n=3$ we obtain $\mathrm{Beta}(\frac{1}{2}, \, \frac{1}{2})$ which is the arcsine distribution. This is symmetric (since $\alpha = \beta$) and bimodal (0 and 1). Since this is the only case where both $\alpha < 1$ and $\beta < 1$ (marked red on both sides), it is our only distribution which goes to infinity at both ends of the support.

The $\mathrm{Beta}(1, \, 1)$ distribution is the only Beta distribution to be rectangular (uniform). All values of $R^2$ from 0 to 1 are equally likely. The only combination of $k$ and $n$ for which $\alpha = \beta =1$ occurs is $k=3$ and $n=5$ (marked blue on both sides).

The previous special cases are of limited applicability but the case $\alpha > 1$ and $\beta=1$ (green on left, blue on right) is important. Now $f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1} = x^{\alpha-1}$ so we have a power-law distribution on [0, 1]. Of course it's unlikely we'd perform a regression with $k=n-2$ and $k>3$, which is when this situation occurs. But by the previous symmetry argument, or some trivial algebra on the PDF, when $k=3$ and $n > 5$, which is the frequent procedure of multiple regression with two regressors and an intercept on a non-trivial sample size, $R^2$ will follow a reflected power law distribution on [0, 1] under $H_0$. This corresponds to $\alpha=1$ and $\beta>1$ so is marked blue on left, green on right.

You may also have noticed the triangular distributions at $(k=5,n=7)$ and its reflection $(k=3,n=7)$. We can recognise from their $\alpha$ and $\beta$ that these are just special cases of the power-law and reflected power-law distributions where the power is $2-1=1$.

Mode

If $\alpha>1$ and $\beta>1$, all green in the plot, $f(x; \, \alpha, \, \beta)$ is concave with $f(0)=f(1)=0$, and the Beta distribution has a unique mode $\frac{\alpha-1}{\alpha+\beta-2}$. Putting these in terms of $k$ and $n$, the condition becomes $k>3$ and $n>k+2$ while the mode is $\frac{k-3}{n-5}$.

All other cases have been dealt with above. If we relax the inequality to allow $\beta=1$, then we include the (green-blue) power-law distributions with $k=n-2$ and $k>3$ (equivalently, $n>5$). These cases clearly have mode 1, which actually agrees with the previous formula since $\frac{(n-2)-3}{n-5}=1$. If instead we allowed $\alpha=1$ but still demanded $\beta>1$, we'd find the (blue-green) reflected power-law distributions with $k=3$ and $n>5$. Their mode is 0, which agrees with $\frac{3-3}{n-5}=0$. However, if we relaxed both inequalities simultaneously to allow $\alpha=\beta=1$, we'd find the (all blue) uniform distribution with $k=3$ and $n=5$, which does not have a unique mode. Moreover the previous formula can't be applied in this case, since it would return the indeterminate form $\frac{3-3}{5-5}=\frac{0}{0}$.

When $n=k$ we get a degenerate distribution with mode 1. When $\beta < 1$ (in regression terms, $n=k-1$ so there is only one residual degree of freedom) then $f(x) \to \infty$ as $x \to 1$, and when $\alpha < 1$ (in regression terms, $k=2$ so a simple linear model with intercept and one regressor) then $f(x) \to \infty$ as $x \to 0$. These would be unique modes except in the unusual case where $k=2$ and $n=3$ (fitting a simple linear model to three points) which is bimodal at 0 and 1.

Mean

The question asked about the mode, but the mean of $R^2$ under the null is also interesting - it has the remarkably simple form $\frac{k-1}{n-1}$. For a fixed sample size it increases in arithmetic progression as more regressors are added to the model, until the mean value is 1 when $k=n$. The mean of a Beta distribution is $\frac{\alpha}{\alpha+\beta}$ so such an arithmetic progression was inevitable from our earlier observation that, for fixed $n$, the sum $\alpha+\beta$ is constant but $\alpha$ increases by 0.5 for each regressor added to the model.

$$\frac{\alpha}{\alpha+\beta} = \frac{(k-1)/2}{(k-1)/2 + (n-k)/2} = \frac{k-1}{n-1}$$

Code for plots

require(grid)
require(dplyr)

nlist <- 3:9 #change here which n to plot
klist <- 2:8 #change here which k to plot

totaln <- length(nlist)
totalk <- length(klist)

df <- data.frame(
    x = rep(seq(0, 1, length.out = 100), times = totaln * totalk),
    k = rep(klist, times = totaln, each = 100),
    n = rep(nlist, each = totalk * 100)
)

df <- mutate(df,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    density = dbeta(x, (k-1)/2, (n-k)/2),
    groupcol = ifelse(x < 0.5, 
        ifelse(a < 1, "below 1", ifelse(a ==1, "equals 1", "more than 1")),
        ifelse(b < 1, "below 1", ifelse(b ==1, "equals 1", "more than 1")))
)

g <- ggplot(df, aes(x, density)) +
    geom_line(size=0.8) + geom_area(aes(group=groupcol, fill=groupcol)) +
    scale_fill_brewer(palette="Set1") +
    facet_grid(nname ~ kname)  + 
    ylab("probability density") + theme_bw() + 
    labs(x = expression(R^{2}), fill = expression(alpha~(left)~beta~(right))) +
    theme(panel.margin = unit(0.6, "lines"), 
        legend.title=element_text(size=20),
        legend.text=element_text(size=20), 
        legend.background = element_rect(colour = "black"),
        legend.position = c(1, 1), legend.justification = c(1, 1))


df2 <- data.frame(
    k = rep(klist, times = totaln),
    n = rep(nlist, each = totalk),
    x = 0.5,
    ymean = 7.5,
    ymode = 5,
    ysd = 2.5
)

df2 <- mutate(df2,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    meanR2 = ifelse(k > n, NaN, a/(a+b)),
    modeR2 = ifelse((a>1 & b>=1) | (a>=1 & b>1), (a-1)/(a+b-2), 
        ifelse(a<1 & b>=1 & n>=k, 0, ifelse(a>=1 & b<1 & n>=k, 1, NaN))),
    sdR2 = ifelse(k > n, NaN, sqrt(a*b/((a+b)^2 * (a+b+1)))),
    meantext = ifelse(is.nan(meanR2), "", paste("Mean =", round(meanR2,3))),
    modetext = ifelse(is.nan(modeR2), "", paste("Mode =", round(modeR2,3))),
    sdtext = ifelse(is.nan(sdR2), "", paste("SD =", round(sdR2,3)))
)

g <- g + geom_text(data=df2, aes(x, ymean, label=meantext)) +
    geom_text(data=df2, aes(x, ymode, label=modetext)) +
    geom_text(data=df2, aes(x, ysd, label=sdtext))
print(g)