La regressione del minimo angolo mantiene le correlazioni monotonicamente decrescenti e legate?

Sto cercando di risolvere un problema per la regressione dell'angolo minimo (LAR). Questo è un problema 3.23 a pagina 97 di Hastie et al., Elements of Statistical Learning, 2nd. ed. (5a stampa) .

Si consideri un problema di regressione con tutte le variabili e la risposta che hanno zero zero e deviazione standard una. Supponiamo anche che ogni variabile abbia identica correlazione assoluta con la risposta:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

Sia il coefficiente dei minimi quadrati di su e che per . $\hat{\beta}$ $\mathbf{y}$ $\mathbf{X}$ $\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$ $\alpha\in[0,1]$

Mi viene chiesto di mostrare che e sto avendo problemi con quello. Si noti che questo può sostanzialmente dice che le correlazioni di ogni con i residui rimangono uguali in grandezza man mano che procediamo verso .

\frac{1}{N} | ⟨ X_{j}, y - u (α) ⟩ | = (1 - α) λ, j = 1, . . ., p

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$

x_{j}

$x_j$

u

$u$

Inoltre non so come dimostrare che le correlazioni sono uguali a:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

Qualsiasi suggerimento sarebbe molto apprezzato!

— Belmont
fonte

@Belmont, che cosa sei ? Potresti fornire più contesto sul tuo problema? Il collegamento all'articolo con proprietà standard di LAR, ad esempio, sarebbe di grande aiuto.

u (α)

$u(\alpha)$

— mpiktas,

@Belmont, questo sembra un problema di Hastie, et al., Elements of Statistical Learning , 2nd. ed. Sono compiti a casa? In tal caso, potresti aggiungere quel tag.

— cardinale

@Belmont, ora che @cardinal ha dato una risposta completa, puoi specificare cosa è realmente LAR, per riferimento futuro? A giudicare dalla risposta si tratta della manipolazione standard dei prodotti delle regressioni dei minimi quadrati, dati alcuni vincoli iniziali. Non dovrebbe esserci un nome speciale per questo senza serie ragioni.

— mpiktas,

@mpiktas, è un algoritmo graduale, quindi ogni volta che una variabile entra o esce dal modello nel percorso di regolarizzazione, la dimensione (cioè cardinalità / dimensione) di cresce o si riduce rispettivamente e viene utilizzata una "nuova" stima LS basata su le variabili attualmente "attive". Nel caso del lazo, che è un problema di ottimizzazione convessa, la procedura consiste essenzialmente nello sfruttare una struttura speciale nelle condizioni KKT per ottenere una soluzione molto efficiente. Esistono anche generalizzazioni, ad esempio, per la regressione logistica basata su IRLS e Heine-Borel (per dimostrare la convergenza nel numero finito di passaggi.)

β

$\beta$

— Cardinale

@Belmont -1, dato che ho recentemente acquistato il libro di Hastie, posso confermare che questo è un esercizio da esso. Quindi ti sto dando un grande -1, dal momento che non riesci nemmeno a dare tutte le definizioni, non sto nemmeno parlando di dare il riferimento.

— mpiktas,

Questo è il problema 3.23 a pagina 97 di Hastie et al., Elements of Statistical Learning , 2nd. ed. (5a stampa) .

La chiave di questo problema è una buona comprensione dei minimi quadrati ordinari (ovvero, regressione lineare), in particolare l'ortogonalità dei valori adattati e dei residui.

Lemma dell'ortogonalità : lascia che sia la matrice di disegno , il vettore di risposta e i parametri (veri). Supponendo che è full-rango (che ci sarà tutto), le stime OLS di siamo . I valori stimati sono . poi $X$ $n \times p$ $y$ $\beta$ $X$ $\beta$ $\hat{\beta} = (X^T X)^{-1} X^T y$ $\hat{y} = X (X^T X)^{-1} X^T y$ . Cioè, i valori adattati sonoortogonaliai residui. Questo segue dal $\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$ . $X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

Ora, lasciate essere un vettore colonna in modo tale che è il esima colonna di . Le condizioni presunte sono: $x_j$ $x_j$ $j$ $X$

$\frac{1}{N} \langle x_j, x_j \rangle = 1$ per ogni , , $j$ $\frac{1}{N} \langle y, y \rangle = 1$
$\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ dove indica un vettore di quelli di lunghezza , e $1_p$ $p$
per tutto. $\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ $j$

Si noti che in particolare , l'ultima affermazione del lemma ortogonalità è identico a per tutti . $\langle x_j, y - \hat{y} \rangle = 0$ $j$

Le correlazioni sono legate

Ora, . Così, $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$ e il secondo termine sul lato destro è zero dallemma ortogonalità, così

⟨ x_{j}, y - u (a) ⟩ = ⟨ x_{j}, (1 - α) y + α y - α \hat{y} ⟩ = (1 - α) ⟨ x_{j}, y ⟩ + α ⟨ x_{j}, y - \hat{y} ⟩,

$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$

come desiderato. Il valore assoluto delle correlazioni sono solo

\frac{1}{N} | ⟨ X_{j}, y - u (α) ⟩ | = (1 - α) λ,

$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$

{\hat{ρ}}_{j} (α) = \frac{\frac{1}{N} | ⟨ X_{j}, y - u (α) ⟩ |}{\sqrt{\frac{1}{N} ⟨ X_{j}, X_{j} ⟩} \sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}} = \frac{(1 - α) λ}{\sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}}

$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$

$j$ $x_j$ $y$

$\alpha$ $p$

Forma esplicita della correlazione (assoluta)

⟨ y - u (α), y - u (α) ⟩ = ⟨ (1 - α) y + α y - u (α), (1 - α) y + α y - u (α) ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$

Sostituendo in e usando la linearità del prodotto interno, otteniamo $u(\alpha) = \alpha \hat{y}$

⟨ y - u (α), y - u (α) ⟩ = (1 - α)^{2} ⟨ y, y ⟩ + 2 α (1 - α) ⟨ y, y - \hat{y} ⟩ + α^{2} ⟨ y - \hat{y}, y - \hat{y} ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$

Osservalo

$\langle y, y \rangle = N$ per ipotesi,
$\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$
$\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$

Mettendo tutto insieme, noterai che siamo arrivati

{\hat{ρ}}_{j} (α) = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} + \frac{α (2 - α)}{N} R S S}} = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} (1 - \frac{R S S}{N}) + \frac{1}{N} R S S}}

$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$

$1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$ $\hat{\rho}_j(\alpha)$ $\alpha$ $\hat{\rho}_j(\alpha) \downarrow 0$ $\alpha \uparrow 1$

Epilogo : concentrati sulle idee qui. Ce n'è davvero solo uno. Il lemma dell'ortogonalità fa quasi tutto il lavoro per noi. Il resto è solo algebra, notazione e capacità di far funzionare questi ultimi due.

— cardinale
fonte

@cardinale, +1. La risposta è di gran lunga migliore della domanda.

— mpiktas,

@cardinal, potresti voler cambiare il link in amazon o in qualche altro sito. Penso che il collegamento al libro completo potrebbe sollevare alcuni problemi di copyright.

— mpiktas,

@mpiktas, no. Nessun problema di copyright. Questo è il sito ufficiale del libro. Gli autori hanno ottenuto l'autorizzazione da Springer per rendere il PDF disponibile gratuitamente online. (Vedi la nota in tal senso sul sito.) Penso che abbiano preso l'idea da Stephen Boyd e dal suo testo di ottimizzazione convesso . Speriamo che una tendenza del genere aumenti di tendenza nei prossimi anni. Godere!

— cardinale

@cardinale, ooh grazie mille! È molto generoso dagli autori.

— mpiktas,

@mpiktas, è di gran lunga il libro più popolare della serie Springer in Statistica. Sembra buono su un iPad. Il che mi ricorda --- Dovrei scaricare anche il testo di Boyd su di esso. Saluti.

— cardinale