Intervallo possibile di

10

Supponiamo che siano tre serie , , e $X_1$ $X_2$ $Y$

Esecuzione di ordinaria regressione lineare su ~ ( ), otteniamo . La regressione lineare ordinaria ~ ottenere . Supponi $Y$ $X_1$ $Y = b X_1 + b_0 + \epsilon$ $R^2 = U$ $Y$ $X_2$ $R^2 = V$ $U < V$

Qual è il valore minimo e massimo possibile di in regressione ~ ( )? $R^2$ $Y$ $X_1 + X_2$ $Y = b_1 X_1 + b_2 X_2 + b_0 + \epsilon$

Credo che minimo dovrebbe essere + un valore piccolo, poiché l'aggiunta di nuove variabili aumenta sempre , ma non so come quantificare questo valore piccolo e non so come ottenere l'intervallo massimo . $R^2$ $V$ $R^2$

regression multiple-regression r-squared

— Vendetta
fonte

9

1) EDIT: commento del card qui sotto mostra che la risposta corretta al minimo domanda è . Quindi sto eliminando la mia risposta "interessante", ma alla fine errata, a quella parte del post del PO. $R^2$ $V$

2) Il massimo è 1. Considera l'esempio seguente, che si adatta al tuo caso. $R^2$

x1 <- rnorm(100)
x2 <- rnorm(100)
y <- x1 + 2*x2

> summary(lm(y~x1))$r.squared
[1] 0.2378023                 # This is U
> summary(lm(y~x2))$r.squared
[1] 0.7917808                 # This is V; U < V
> summary(lm(y~x1+x2))$r.squared
[1] 1

Qui stiamo fissando la varianza di a 0. Se vuoi , però, le cose cambiano un po '. Puoi ottenere arbitrariamente vicino a 1 rendendo sempre più piccolo , ma, come con il problema minimo, non puoi arrivarci, quindi non c'è un massimo. 1 diventa il supremum , poiché è sempre maggiore di ma è anche il limite come . $\epsilon$ $\sigma^2_\epsilon > 0$ $R^2$ $\sigma^2_\epsilon$ $R^2$ $\sigma^2_\epsilon \to 0$

— jbowman
fonte

2

(+1) Alcuni commenti: questa è una buona risposta; è interessante che hai preso un approccio asintotico, mentre non è chiaro se il PO era interessato a questo o, possibile, un fisso uno (o entrambi). Questa risposta è un po 'incompatibile con il vincolo del PO che , tuttavia, e se o per alcuni , ad esempio, allora il minimo per tutte le dimensioni fisse del campione sono esattamente . (Scusa la patologia di questi esempi.) Inoltre, OLS non è necessariamente coerente in assenza di vincoli aggiuntivi sui predittori. :)

n

$n$

U < V

$U < V$

X_{1} = 0

$X_1 = 0$

X_{1} = a 1

$X_1 = a \mathbf{1}$

a \in R

$a \in \mathbb R$

R^{2}

$R^2$

V := V (n)

$V := V(n)$

— cardinale

@cardinal - sulla rilettura, non riesco a capire perché ho adottato questo approccio al problema minimo, quando ora sembra la risposta ovviamente corretta e, come hai implicitamente osservato, avrei potuto costruire un esempio che lo raggiunga in la vena della parte massima ... vabbè, forse il mio espresso stamattina è stato accidentalmente decaffeinato. (Forse dovrei rivedere le mie risposte in modo più approfondito anche prima di pubblicare!)

V

$V$

— jbowman

Non credo che si dovrebbe rimuovere quello che hai scritto, che ho fatto trovare un approccio interessante per rispondere alla domanda! Mentre le patologie che menziono certamente consentono un minimo di , ci si potrebbe chiedere cosa si intende veramente per . L'altro esempio non è forse altrettanto patologico poiché in una versione generale di questo problema si estende al caso in cui aggiuntivo si trova nello spazio di colonna degli altri predittori. :)

R^{2}

$R^2$

X_{1} = 0

$X_1 = 0$

X_{i}

$X_i$

— cardinale il

1

@cardinal - grazie! Lo ricostruirò, forse un po 'più formalmente, e lo rimetterò in fondo tra poco.

— jbowman,

5

Lasciare uguale alla correlazione tra e , uguale alla correlazione tra e , e la correlazione tra e . Quindi per il modello completo diviso per uguale $r_{1,2}$ $X_1$ $X_2$ $r_{1,Y}$ $X_1$ $Y$ $r_{2,Y}$ $X_2$ $Y$ $R^2$ $V$

(\frac{1}{(1 - r_{1, 2}^{2})}) (1 - \frac{2 \cdot r_{1, 2} \cdot r_{1, Y}}{r_{2, Y}} + \frac{U}{V}) .

$\left(\frac{1}{(1 - r_{1,2}^2)}\right) \left(1 - \frac{2 \cdot r_{1,2} \cdot r_{1,Y}}{r_{2,Y}} + \frac{U}{V}\right).$

Quindi per il modello completo è uguale a solo se e o $R^2$ $V$ $r_{1,2} = 0$ $r_{1,Y}^2 = U = 0$

r_{1, 2}^{2} = \frac{2 \cdot r_{1, 2} \cdot r_{1, Y}}{r_{2, Y}} - \frac{U}{V} .

$r_{1,2}^2 = \frac{2\cdot r_{1,2} \cdot r_{1,Y}}{r_{2,Y}} - \frac{U}{V}.$

Se , per il modello completa corrisponde . $r_{1,2} = 0$ $R^2$ $U + V$

— Margot
fonte

(+1) Carino. Benvenuti nel sito. Prendi in considerazione la possibilità di registrare il tuo account in modo da poter partecipare più pienamente. Dovrò guardare questa espressione un po 'più da vicino in seguito. :)

— cardinale

4

Senza vincoli su e , il minimo è e quindi il massimo è il più piccolo . Questo perché due variabile potrebbe essere perfettamente correlato (nel qual caso aggiungendo la seconda variabile non cambia la a tutti) oppure potrebbero essere ortogonali nel qual caso entrambe comprese risultati in . È stato giustamente sottolineato nei commenti che ciò richiede anche che ciascuno sia ortogonale a , il vettore colonna di 1s. $U$ $V$ $V$ $\min(V + U, 1)$ $R^2$ $U + V$ $\mathbf{1}$

Hai aggiunto il vincolo . Tuttavia, è ancora possibile che . Cioè, , nel qual caso, . Infine, è possibile che quindi il limite superiore sia ancora . $U < V \implies X_{1} \neq X_{2}$ $U = 0$ $X_{1} \perp Y$ $\min = \max = V + 0$ $X_{1} \perp X_{2}$ $\min(V + U, 1)$

Se sapessi di più sulla relazione tra e , penso che potresti dire di più. $X_{1}$ $X_{2}$

— Giosuè
fonte

1

(+1) Tuttavia, si noti che non è (del tutto) vero che se e sono ortogonali, i loro valori individuali verranno sommati includendo entrambi nel modello. Abbiamo anche bisogno che siano ortogonali al vettore tutti . Si noti che è possibile utilizzare su questo sito per contrassegnare la matematica. :)

X_{1}

$X_1$

X_{2}

$X_2$

R^{2}

$R^2$

1

$\mathbf 1$

L A T E X

$\LaTeX$

— cardinale il

Questo è vero. Grazie mille per i commenti e per aver sottolineato che può essere utilizzato. Pensavo che avrebbe potuto, ma avevo provato a fuggire in stile mathjax (e [per inline / equazioni. Scrivere proprio come avrei fatto in TeX ha funzionato come un incanto :)

L A T E X

$\LaTeX$

— Joshua,