Valore atteso di

Sono curioso di sapere l'affermazione fatta in fondo alla prima pagina in questo testo riguardo alla regolazione di $R^2_\mathrm{adjusted}$

R_{a d j u s t e d}^{2} = 1 - (1 - R^{2}) (\frac{n - 1}{n - m - 1}) .

$R^2_\mathrm{adjusted} =1-(1-R^2)\left({\frac{n-1}{n-m-1}}\right).$

Il testo afferma:

La logica della correzione è la seguente: nella regressione multipla ordinaria, un predittore casuale spiega in media una proporzione $1/(n – 1)$ della variazione della risposta, in modo che $m$ predittori casuali spieghino insieme, in media, $m/(n – 1)$ della variazione della risposta; in altre parole, il valore atteso di $R^2$ è $\mathbb{E}(R^2) = m/(n – 1)$ . Applicando la formula [ $R^2_\mathrm{adjusted}$ ] a quel valore, dove tutti i predittori sono casuali, si ottiene $R^2_\mathrm{adjusted} = 0$ "

Questa sembra essere una motivazione molto semplice e interpretabile per $R^2_\mathrm{adjusted}$ . Tuttavia, non sono stato in grado di capire che $\mathbb{E}(R^2)=1/(n – 1)$ per singolo predittore casuale (cioè non correlato).

Qualcuno potrebbe indicarmi la giusta direzione qui?

— gregory_britten
fonte

Nel caso in cui il link si interrompa in futuro, potresti fornire un riferimento completo? Grazie.

— Richard Hardy,

Si tratta di accurate statistiche matematiche. Vedi questo post per la derivazione della distribuzione di nell'ipotesi che tutti i regressori (escluso il termine costante) non siano correlati con la variabile dipendente ("predittori casuali"). $R^2$

Questa distribuzione è una Beta, con il numero di predittori senza contare il termine costante e la dimensione del campione, $m$ $n$

R^{2} \sim B e t a (\frac{m}{2}, \frac{n - m - 1}{2})

$R^2 \sim Beta\left (\frac {m}{2}, \frac {n-m-1}{2}\right)$

e così

E (R^{2}) = \frac{m / 2}{(m / 2) + [(n - m - 1) / 2]} = \frac{m}{n - 1}

$E(R^2) = \frac {m/2}{(m/2)+[(n-m-1)/2]} = \frac{m}{n-1}$

Questo sembra essere un modo intelligente per "giustificare" la logica dietro l' corretto : se effettivamente tutti i regressori non sono correlati, allora l' corretto è "in media" zero. $R^2$ $R^2$

— Alecos Papadopoulos
fonte

Solo le informazioni di cui avevo bisogno! Grazie! E lunga vita allo scambio di stack!

— gregory_britten,

Sarei interessato al caso in cui non tutti i regressori non sono correlati alla variabile dipendente. Hai qualche riferimento a riguardo?

— Olivier,

@Olivier No, temo di no. Guarda sotto "Test F per significato di regressione, distribuzione in alternativa" o qualcosa del genere.

— Alecos Papadopoulos,