11

Non ho una definizione formale di equivalenza di scala, ma ecco cosa dice Introduzione all'apprendimento statistico a pag. 217:

I coefficienti standard dei minimi quadrati ... sono equivalenti alla scala : moltiplicare $X_j$ per una costante porta semplicemente a un ridimensionamento delle stime del coefficiente dei minimi quadrati per un fattore di . $c$ $1/c$

Per semplicità, supponiamo che il modello lineare generale , dove , è una matrice (dove ) con tutte le voci in , e è un vettore dimensionale di variabili casuali a valore reale con . $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ $\mathbf{y} \in \mathbb{R}^N$ $\mathbf{X}$ $N \times (p+1)$ $p+1 < N$ $\mathbb{R}$ $\boldsymbol\beta \in \mathbb{R}^{p+1}$ $\boldsymbol\epsilon$ $N$ $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$

Dalla stima OLS, sappiamo che se $\mathbf{X}$ ha un rango (colonna) completo,

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$ Supponiamo di aver moltiplicato una colonna di

X

$\mathbf{X}$ , diciamo

x_{k}

$\mathbf{x}_k$ per alcuni

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$ , da una costante

c \neq 0

$c \neq 0$ . Ciò equivarrebbe alla matrice

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ dove tutte le altre voci della matrice

S

$\mathbf{S}$ sopra sono

0

$0$ , e

c

$c$ è nella

k

$k$ voce della diagonale di

S

$\mathbf{S}$ . Poi,

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ poiché la nuova matrice del design è

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$ Dopo alcuni lavori, si può dimostrare che

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots & \ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} e

{\tilde{X}}^{T} y = [\begin{matrix} X_{1}^{T} y \\ X_{2}^{T} y \\ ⋮ \\ c X_{K}^{T} y \\ ⋮ \\ X_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ Come posso passare da qui per mostrare il reclamo sopra citato (ovvero, quel

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$ )? Non mi è chiaro come calcolare

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ .

least-squares linear-model

— Clarinettista
fonte

Penso che il tuo non sia corretto, manca un moltiplicatore in una riga intera.

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

Inoltre, tieni presente che l'affermazione è , non tutti .

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug

@Firebug Sì, l'ho appena capito. Sto postando una risposta.

— Clarinetto

2

Puoi sostituire tutta questa algebra con un'analisi delle unità molto più semplice, perché moltiplicare per cambia semplicemente la sua unità di misura, e quindi il cambiamento corrispondente nelle unità associate al suo coefficiente è dividerlo per . Ciò non dimostra che debba essere diviso per , sfortunatamente. Tuttavia, questa catena di pensieri potrebbe ricordarci che la regressione multipla può essere effettuata da una successione di regressioni contro un regressore alla volta, dove è chiaro che è diviso per , e quindi la prova è completa.

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— whuber

@whuber, mentre l'intuizione per il risultato è chiara, sembra che ci sia semplicemente un po 'di algebra nel fornire una prova. Dopotutto, il fattore di ridimensionamento deve essere invertito.

c

$c$

— user795305

11

Poiché l'affermazione nella citazione è una raccolta di dichiarazioni sul riscalare le colonne di , potresti anche provarle tutte in una volta. In effetti, non serve altro lavoro per dimostrare una generalizzazione dell'asserzione: $X$

Quando viene moltiplicato a destra per una matrice invertibile , la nuova stima del coefficiente è uguale a moltiplicata a sinistra per . $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

Gli unici fatti algebrici di cui hai bisogno sono (quelli facilmente comprovati e noti) che per qualsiasi matrice e per matrici invertibili e . (Una versione più sottile di quest'ultima è necessaria quando si lavora con inversioni generalizzate: per invertibile e e qualsiasi , . ) $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

Prova algebrica :

{\hat{β}}_{UN} = ((X UN)^{'} ((X UN))^{-} (X UN)^{'} y = {UN}^{- 1} (X^{'} X)^{-} ({UN}^{'})^{- 1} {UN}^{'} y = {UN}^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED. (Affinché questa dimostrazione sia completamente generale, il apice si riferisce a un inverso generalizzato.) $^-$

Prova per geometria :

Date le basi ed di e , rispettivamente, rappresenta una trasformazione lineare da a . La moltiplicazione a destra di per può essere considerata tale da lasciare fissa questa trasformazione ma cambiando in (ovvero, nelle colonne di ). Sotto quel cambio di base, la rappresentazione di qualsiasi vettore deve cambiare tramite la moltiplicazione a sinistra di , $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ QED .

(Questa prova funziona, non modificata, anche quando non è invertibile.) $X^\prime X$

La citazione si riferisce specificamente al caso delle matrici diagonali con per e . $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

Connessione con i minimi quadrati

L'obiettivo qui è quello di utilizzare i primi principi per ottenere il risultato, con il principio che è quello dei minimi quadrati: stimare i coefficienti che minimizzano la somma dei quadrati dei residui.

Ancora una volta, dimostrare una (enorme) generalizzazione non è più difficile ed è piuttosto rivelatore. Supponiamo che sia una mappa (lineare o no) di spazi vettoriali reali e supponiamo che sia una funzione valutata su . Lascia che sia l'insieme (possibilmente vuoto) di punti per i quali è minimizzato.

φ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

Risultato: , che è determinato esclusivamente da e , non dipende da alcuna scelta della base utilizzata per rappresentare i vettori in . $U$ $Q$ $\phi$ $E_p$ $V^p$

Prova: QED.

Non c'è niente da dimostrare!

Applicazione del risultato: Sia una forma quadratica semidefinita positiva su , sia , e supponiamo che sia una mappa lineare rappresentata da quando le basi di e sono scelti. Definire . Scegli una base di e supponi che sia la rappresentazione di alcuni in quella base. Questo è il minimo dei quadrati : minimizza la distanza al quadrato . Perché $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ è una mappa lineare, modificare la base di corrisponde a destra-moltiplicando da alcuni invertibile matrice . Ciò moltiplicherà a sinistra per , QED . $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— whuber
fonte

6

Definisci lo stimatore dei minimi quadrati , dove la matrice di progettazione è al completo. Supponendo che la matrice di ridimensionamento sia invertibile. $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

Definisci questo nuovo stimatore in scala . Ciò significa che per tutti . Definendo , possiamo riscrivere questa disuguaglianza visualizzata sopra come per tutti . Pertanto e ne consegue che lo stimatore dei minimi quadrati A causa della invertibilità della matrice di ridimensionamento $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ , segue che . Nel nostro caso, questo differisce solo da per la voce ridimensionata da .

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— user795305
fonte

1

Non ho familiarità come dovrei lavorare con e funzioni simili - potresti spiegare il passaggio dalla tua seconda alla terza linea di equazioni?

arg min

$\text{arg min}$

— Clarinetto

L'ho scritto in modo leggermente diverso, il che dovrebbe rendere i passaggi più chiari.

— user795305

Questo è davvero intelligente. (+1)

— Clarinetto

4

L'ho capito dopo aver pubblicato la domanda. Se il mio lavoro è corretto, tuttavia, ho interpretato erroneamente l'affermazione. Il si verifica solo su un componente di corrispondente alla colonna di viene moltiplicata per . $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

Notare che , nella notazione sopra, è una matrice diagonale, simmetrica e ha inversa (perché è diagonale) Nota che è una matrice . Supponiamo che $\mathbf{S}$ $(p+1) \times (p+1)$

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ Quindi, e moltiplicandolo per ha un effetto simile a quello che ha fatto moltiplicando per - rimane lo stesso, viene moltiplicato per

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

\frac{1}{c}

$\frac{1}{c}$ : Pertanto,

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ come desiderato.

— Clarinettista
fonte

C'è un refuso in . Devi trasporre .

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— JohnK,

3

La prova più tangibile di sempre

Inizi con la tua equazione lineare: Ora vuoi cambiare la scala dei tuoi regressori, magari convertire dal sistema metrico a Imperiale, conosci chilogrammi in libbre, metri in iarde ecc. Quindi, vieni su con la matrice di conversione dove ogni è il coefficiente di conversione per variabile (colonna) in matrice disegno .

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

Riscriviamo l'equazione:

Y = (X S) (S^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

Ora è abbastanza chiaro che il ridimensionamento è la proprietà della linearità della tua equazione, non del metodo OLS di stima dei coefficienti. Indipendentemente dal metodo di stima con equazione lineare, si ha che quando i regressori vengono ridimensionati come nuovi coefficienti devono essere ridimensionati come $XS$ $S^{-1}\beta$

Prova di Algebra solo per OLS

Il ridimensionamento è questo:

Z = X * d io un' g (S_{1}, S_{2}, . . ., S_{n})

$Z=X*diag(s_1,s_2,...,s_n)$ dove fattore di scala di ogni variabile (colonna), e una versione in scala . Chiamiamo la matrice in scala diagonale . Lo stimatore OLS è Inseriamo la matrice in scala anziché e usiamo un po 'di algebra di matrice : Quindi, vedi come il nuovo coefficiente è semplicemente il vecchio coefficiente ridimensionato, come previsto.

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

(Z^{T} Z)^{- 1} Z^{T} Y = (S^{T} X^{T} X S)^{- 1} S^{T} X^{T} Y = S^{- 1} (X^{T} X)^{- 1} S^{- 1} S X^{T} Y = S^{- 1} (X^{T} X)^{- 1} X^{T} Y = S^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— Aksakal
fonte

2

Mi piacciono i tuoi approcci, ma non sono convinto dalla "prova più banale di sempre". Hai implicitamente assunto, e devi ancora dimostrare, che il modello riscritto deve avere lo stesso adattamento dell'originale. Per dirlo più rigorosamente: se consideriamo una procedura di adattamento come una funzione , dove è l'insieme di tutti i dati possibili (che potremmo scrivere come coppia ordinata

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$ ) e è l'insieme di tutte le possibili stime dei coefficienti, quindi è necessario dimostrare che per tutti invertibile , tutto , e tutto . (Questo non è sempre vero!)

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

— whuber

@whuber, in realtà è il contrario: la ragionevole procedura di adattamento dovrebbe soddisfare questa condizione, altrimenti un semplice cambio di unità di misura produrrà una previsione / stima diversa. aggiornerò la mia risposta, ci penserò un po '

— Aksakal

Sono d'accordo - ma posso immaginare eccezioni nei casi in cui non è di rango massimo. Questo è ciò che mi ha suggerito che la situazione non è così banale come potrebbe sembrare.

X

$X$

— whuber

3

compagno imperiale , non reale ...: D (bella risposta, +1)

— usεr11852

@ usεr11852, ho imparato qualcosa oggi :)

— Aksakal,

2

Un modo semplice per ottenere questo risultato è ricordare che è la proiezione di nello spazio colonna di $\hat{y}$ $y$ $X.$ $\hat{\beta}$ è il vettore di coefficienti quando è espresso come lineare combinazione delle colonne di . Se una colonna è ridimensionata di un fattore , è chiaro che il coefficiente corrispondente nella combinazione lineare deve essere ridimensionato di . $\hat{y}$ $X$ $c$ $1/c$

Sia i valori di e i valori della soluzione OLS quando una colonna viene ridimensionata di $b_i$ $\hat{\beta}$ $a_i$ $c.$

B_{1} X_{1} + . . . + B_{io} X_{io} + . . . + B_{m} X_{m} = {un'}_{1} X_{1} + . . . {un'}_{io} (c X_{io}) + . . . + {un'}_{n} X_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

implica che dove e , supponendo che le colonne di siano linearmente indipendenti. $b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— Jonny Lomond
fonte

Stai dimostrando che lo stimatore OLS è equivalente alla scala?

Connessione con i minimi quadrati

La prova più tangibile di sempre

Prova di Algebra solo per OLS