Prova della formula LOOCV

Da un'introduzione all'apprendimento statistico di James et al., La stima di convalida incrociata (LOOCV) lascia una traccia è definita da dove .

{CV}_{(n)} = \frac{1}{n} Σ_{io = 1}^{n} {MSE}_{io}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i$

{MSE}_{i} = (y_{i} - {\hat{y}}_{i})^{2}

$\text{MSE}_i = (y_i-\hat{y}_i)^2$

Senza prove, l'equazione (5.2) afferma che per i minimi quadrati o la regressione polinomiale (se questo si applica alla regressione su una sola variabile non mi è noto), dove " è il valore adattato dai minimi quadrati originali si adatta ( non idea di cosa significhi, a proposito , significa utilizzare tutti i punti nel set di dati?) e è la leva "che è definita da

{CV}_{(n)} = \frac{1}{n} Σ_{io = 1}^{n} {(\frac{y_{io} - {\hat{y}}_{io}}{1 - h_{io}})}^{2}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2$

{\hat{y}}_{i}

$\hat{y}_i$

i

$i$

h_{i}

$h_i$

h_{io} = \frac{1}{n} + \frac{(X_{io} - \bar{X})^{2}}{Σ_{j = 1}^{n} (X_{j} - \bar{X})^{2}} .

$h_i = \dfrac{1}{n}+\dfrac{(x_i - \bar{x})^2}{\sum\limits_{j=1}^{n}(x_j - \bar{x})^2}\text{.}$

Come si dimostra questo?

Il mio tentativo: si potrebbe iniziare notando che ma a parte da questo (e se ricordo, quella formula per è vera solo per una semplice regressione lineare ...), non sono sicuro di come procedere da qui.

{\hat{y}}_{io} = β_{0} + Σ_{io = 1}^{K} β_{K} X_{K} + alcuni termini polinomiali di laurea \geq 2

$\hat{y}_i = \beta_0 + \sum\limits_{i=1}^{k}\beta_k X_k + \text{some polynomial terms of degree }\geq 2$

h_{i}

$h_i$

— Clarinettista
fonte

O le tue equazioni sembrano usare per più di una cosa o sono molto confuso. In ogni caso, una maggiore chiarezza sarebbe buona.

i

$i$

— Glen_b -Restate Monica

@Glen_b Ho appena saputo di LOOCV ieri, quindi potrei non capire alcune cose correttamente. Da quello che ho capito, hai una serie di punti dati, diciamo . Con LOOCV, hai per ogni fisso (intero positivo) un set di validazione e un set di test usato per generare un modello adattato per ogni . Ad esempio, ad esempio, adattiamo il nostro modello utilizzando una semplice regressione lineare con tre punti dati, . Avremmo (continua)

X = {(x_{i}, y_{i}) : i \in Z^{+}}

$\mathcal{X} = \{(x_i, y_i): i \in \mathbb{Z}^+\}$

k

$k$

V_{k} = {(x_{k}, y_{k})}

$\mathcal{V}_k = \{(x_k, y_k)\}$

T_{k} = X ∖ V_{k}

$\mathcal{T}_k = \mathcal{X}\setminus \mathcal{V}_k$

k

$k$

X = {(0, 1), (1, 2), (2, 3)}

$\mathcal{X} = \{(0, 1), (1, 2), (2,3)\}$

— Clarinetist

@Glen_b e . Usando i punti in , possiamo trovare che usando una semplice regressione lineare, otteniamo il modello . Quindi calcoliamo usando come set di validazione e otteniamo (usando solo il punto indicato) e , dando . Ok, forse usare l'apice non è stata la migliore idea - lo cambierò nel post originale.

V_{1} = {(0, 1)}

$\mathcal{V}_1 = \{(0, 1)\}$

T_{1} = {(1, 2), (2, 3)}

$\mathcal{T}_1 = \{(1, 2), (2, 3)\}$

T_{1}

$\mathcal{T}_1$

{\hat{y}}_{i} = X + 1

$\hat{y}_i = X + 1$

MSE

$\text{MSE}$

V_{1}

$\mathcal{V}_1$

y_{1} = 1

$y_1 = 1$

{\hat{y}}_{1}^{(1)} = 0 + 1 = 1

$\hat{y}_1^{(1)} = 0 + 1 = 1$

{MSE}_{1} = 0

$\text{MSE}_1 = 0$

— Clarinetist

ecco alcuni appunti sulle pagine di

— Xavier Bourret Sicotte

il risultato per qualsiasi regressione lineare multipla, indipendentemente dal fatto che i regressori siano polinomi di o meno. In effetti, mostra un po 'più di quello che hai chiesto, perché mostra che ogni residuo LOOCV è identico al residuo ponderato per leva corrispondente dalla regressione completa, non solo che puoi ottenere l'errore LOOCV come in (5.2) (lì potrebbero essere altri modi in cui le medie concordano, anche se non tutti i termini nella media sono uguali). $X_t$

Consentitemi di prendere la libertà di usare una notazione leggermente adattata.

Mostriamo innanzitutto che dove è la stima utilizzando tutti i dati e la stima quando si esce da , osservazione . Consenti a essere definito come un vettore riga tale che . sono i residui.

\begin{aligned} \hat{β} - {\hat{β}}_{(t)} & = (\frac{{\hat{u}}_{t}}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'}, (UN) \end{aligned}

$\begin{align*} \hat\beta-\hat\beta_{(t)}&=\left(\frac{\hat u_t}{1-h_t}\right)(X'X)^{-1}X_t', \quad\quad \textrm{(A)} \end{align*}$

\hat{β}

$\hat\beta$

{\hat{β}}_{(t)}

$\hat\beta_{(t)}$

X_{(t)}

$X_{(t)}$

t

$t$

X_{t}

$X_t$

{\hat{y}}_{t} = X_{t} \hat{β}

$\hat y_t=X_t\hat\beta$

{\hat{u}}_{t}

$\hat u_t$

La dimostrazione utilizza il seguente risultato algebrico della matrice.

Sia una matrice non singolare, un vettore e uno scalare. Se Quindi $A$ $b$ $\lambda$

\begin{aligned} λ & \neq - \frac{1}{B^{'} {UN}^{- 1} B} \end{aligned}

$\begin{align*} \lambda&\neq -\frac{1}{b'A^{-1}b} \end{align*}$

\begin{aligned} (UN + λ B B^{'})^{- 1} & = {UN}^{- 1} - (\frac{λ}{1 + λ B^{'} {UN}^{- 1} B}) {UN}^{- 1} B B^{'} {UN}^{- 1} (B) \end{aligned}

$\begin{align*} (A+\lambda bb')^{-1}&=A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\quad\quad \textrm{(B) }\end{align*}$

La prova di (B) segue immediatamente dalla verifica

\begin{aligned} {{UN}^{- 1} - (\frac{λ}{1 + λ B^{'} {UN}^{- 1} B}) {UN}^{- 1} B B^{'} {UN}^{- 1}} (UN + λ B B^{'}) = io . \end{aligned}

$\begin{align*} \left\{A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\right\}(A+\lambda bb')=I. \end{align*}$

Il seguente risultato è utile per dimostrare (A)

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} = (\frac{1}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'} . (C) \end{aligned}

$\begin{align} (X_{(t)}'X_{(t)})^{-1}X_t'=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'.\quad\quad \textrm{ (C)} \end{align}$

Prova di (C): con (B) abbiamo, usando , Quindi troviamo $\sum_{t=1}^TX_t'X_t=X'X$

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} & = (X^{'} X - X_{t}^{'} X_{t})^{- 1} \\ = (X^{'} X)^{- 1} + \frac{(X^{'} X)^{- 1} X_{t}^{'} X_{t} (X^{'} X)^{- 1}}{1 - X_{t} (X^{'} X)^{- 1} X_{t}^{'}} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}&=(X'X-X_t'X_t)^{-1}\\ &=(X'X)^{-1}+\frac{(X'X)^{-1}X_t'X_t(X'X)^{-1}}{1-X_t(X'X)^{-1}X_t'}. \end{align*}$

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} & = (X^{'} X)^{- 1} X_{t}^{'} + (X^{'} X)^{- 1} X_{t}^{'} (\frac{X_{t} (X^{'} X)^{- 1} X_{t}^{'}}{1 - X_{t} (X^{'} X)^{- 1} X_{t}^{'}}) \\ = (\frac{1}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}X_t'&=(X'X)^{-1}X_t'+(X'X)^{-1}X_t'\left(\frac{X_t(X'X)^{-1}X_t'}{1-X_t(X'X)^{-1}X_t'}\right)\\ &=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'. \end{align*}$

La dimostrazione di (A) ora segue da (C): Poiché abbiamo o Quindi, dove l'ultima uguaglianza segue da (C).

\begin{aligned} X^{'} X \hat{β} & = X^{'} y, \end{aligned}

$\begin{align*} X'X\hat\beta&=X'y, \end{align*}$

\begin{aligned} (X_{(t)}^{'} X_{(t)} + X_{t}^{'} X_{t}) \hat{β} & = X_{(t)}^{'} y_{(t)} + X_{t}^{'} y_{t}, \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)}+X_t'X_t)\hat\beta &=X_{(t)}'y_{(t)}+X_t' y_t, \end{align*}$

\begin{aligned} {{io}_{K} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} X_{t}} \hat{β} & = {\hat{β}}_{(t)} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} (X_{t} \hat{β} + {\hat{u}}_{t}) . \end{aligned}

$\begin{align*} \left\{I_k+(X_{(t)}'X_{(t)})^{-1}X_t'X_t\right\}\hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'(X_t\hat\beta+\hat u_t). \end{align*}$

\begin{aligned} \hat{β} & = {\hat{β}}_{(t)} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} {\hat{u}}_{t} \\ = {\hat{β}}_{(t)} + (X^{'} X)^{- 1} X_{t}^{'} \frac{{\hat{u}}_{t}}{1 - h_{t}}, \end{aligned}

$\begin{align*} \hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'\hat u_t\\ &=\hat\beta_{(t)}+(X'X)^{-1}X_t'\frac{\hat u_t}{1-h_t}, \end{align*}$

Ora, nota . Moltiplicare in (A) per , aggiungere su entrambi i lati e riordinare per ottenere, con i residui risultanti dall'uso di ( ), o $h_t=X_t(X'X)^{-1}X_t'$ $X_t$ $y_t$ $\hat u_{(t)}$ $\hat\beta_{(t)}$ $y_t-X_t\hat\beta_{(t)}$

{\hat{u}}_{(t)} = {\hat{u}}_{t} + (\frac{{\hat{u}}_{t}}{1 - h_{t}}) h_{t}

$\hat u_{(t)}=\hat u_t+\left(\frac{\hat u_t}{1-h_t}\right)h_t$

{\hat{u}}_{(t)} = \frac{{\hat{u}}_{t} (1 - h_{t}) + {\hat{u}}_{t} h_{t}}{1 - h_{t}} = \frac{{\hat{u}}_{t}}{1 - h_{t}}

$\hat u_{(t)}=\frac{\hat u_t(1-h_t)+\hat u_th_t}{1-h_t}=\frac{\hat u_t}{1-h_t}$

— Christoph Hanck
fonte

La definizione per è presente nella risposta. Presumo che questa sia una matrice con la riga rimossa.

X_{(t)}

$X_{(t)}$

X

$X$

X_{t}

$X_t$

— mpiktas,

Anche menzionando il fatto che sarebbe anche utile.

X^{'} X = \sum_{t = 1}^{T} X_{t}^{'} X_{t}

$X'X=\sum_{t=1}^T X_t'X_t$

— mpiktas,

@mpiktas, sì, grazie per i puntatori. Ho modificato per tenere conto del primo commento. Dove sarebbe esattamente il secondo aiuto? O semplicemente lasciarlo nel tuo commento?

— Christoph Hanck,

Quando inizi la prova di (C) scrivi . Questo è un bel trucco, ma dubito che il lettore occasionale ne sia consapevole.

(X_{(t)}^{'} X_{(t)})^{- 1} = (X^{'} X - X_{t}^{'} X_{t})^{- 1}

$(X_{(t)}'X_{(t)})^{-1}=(X'X-X_t'X_t)^{-1}$

— mpiktas,

Due anni dopo ... apprezzo ancora di più questa risposta, ora che ho passato una sequenza di modelli lineari a livello di laurea. Sto riapprendendo questo materiale con questa nuova prospettiva. Hai qualche suggerimento suggerito (libri di testo?) Che passa attraverso le derivazioni come quello che hai in questa risposta in dettaglio?

— Clarinetist,