Applicare la regressione della cresta per un sistema di equazioni indefinito?

Quando , il problema dei minimi quadrati che impone una restrizione sferica sul valore di può essere scritto come per un sistema indefinito. è la norma euclidea di un vettore. $y = X\beta + e$ $\delta$ $\beta$

\begin{matrix} \min ‖ y - X β ‖_{2}^{2} \\ s . t . ‖ β ‖_{2}^{2} \leq δ^{2} \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$

‖ \cdot ‖_{2}

$\|\cdot\|_2$

La soluzione corrispondente a $\beta$ è data da

\hat{β} = {(X^{T} X + λ I)}^{- 1} X^{T} y,

$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$ che può essere derivato dal metodo dei moltiplicatori di Lagrange (

λ

$\lambda$ è il moltiplicatore):

L (β, λ) = ‖ y - X β ‖_{2}^{2} + λ (‖ β ‖_{2}^{2} - δ^{2})

$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$

Capisco che esiste una proprietà che

{(X^{T} X + λ I)}^{- 1} X^{T} = X^{T} {(X X^{T} + λ I)}^{- 1} .

$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$ Il lato destro assomiglia allo pseudo-inverso della matrice

del regressore

X

$X$ nel caso indefinito (con il parametro di regolarizzazione aggiunto,

λ

$\lambda$ ). Questo significa che la stessa espressione può essere usata per approssimare

β

$\beta$ per il caso indeterminato? Esiste una derivazione separata per l'espressione corrispondente nel caso indeterminato, poiché il vincolo di restrizione sferica è ridondante con la funzione obiettiva (norma minima di

β

$\beta$ ):

\begin{matrix} m i n . ‖ β ‖_{2} \\ s . t . X β = y . \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$

— hatmatrix
fonte

A partire dalla formulazione del problema di regressione della cresta come

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

puoi scrivere il problema come

$\min \| A\beta - b \|_{2}^{2}$

dove

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

La matrice ha un rango di colonna completo a causa della parte I . Quindi il problema dei minimi quadrati come soluzione unica $A$ $\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

Scrivendolo in termini di e e semplificando molti 0, otteniamo $X$ $y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Nulla in questa derivazione dipende dal fatto che abbia più righe o colonne, o anche se abbia il rango completo. Questa formula è quindi applicabile al caso indeterminato. $X$ $X$

È un fatto algebrico che per , $\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Quindi abbiamo anche la possibilità di usare

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

Per rispondere a domande specifiche:

Sì, entrambe le formule funzionano per il caso indeterminato e per il caso sopra determinato. Opera anche se è inferiore al minimo del numero di righe e colonne di . La seconda versione può essere più efficiente per problemi non determinati perché è più piccolo di in quel caso. $\mbox{rank}(X)$ $X$ $XX^{T}$ $X^{T}X$
Non sono a conoscenza di alcuna derivazione della versione alternativa della formula che inizia con qualche altro problema dei minimi quadrati smorzati e utilizza le equazioni normali. In ogni caso puoi ricavarlo in modo semplice usando un po 'di algebra.

È possibile che tu stia pensando al problema di regressione della cresta nel modulo

$\min \| \beta \|_{2}^{2}$

soggetto a

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Tuttavia, questa versione del problema di regressione della cresta porta semplicemente allo stesso problema smorzato dei minimi quadrati . $\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$

— Brian Borchers
fonte

Vale la pena notare cosa succede nel limite dato che va a 0 se ha un rango di riga completo o un rango di colonna completo. Se ha un rango di colonna completo, quindi nel limite, ottieni lo pseudoinverso . Allo stesso modo, se ha un rango di riga completo, nel limite si ottiene la pseudo-inversa . Quindi, questo funziona come ci aspetteremmo.

λ

$\lambda$

X

$X$

X

$X$

(X^{T} X)^{- 1} X^{T}

$(X^{T}X)^{-1}X^{T}$

X

$X$

X^{T} (X X^{T})^{- 1}

$X^{T}(XX^{T})^{-1}$

— Brian Borchers,

Questa è una risposta fenomenale e la derivazione dagli array aumentati (più l'algebra che ho perso) è molto soddisfacente. Non stavo pensando al problema della regressione della cresta nella forma che hai presentato alla fine, ma è interessante vedere che porta alla stessa funzione oggettiva. Un grande grazie!

— hatmatrix,

Grazie. Inserirò qui una spina spudorata- Puoi trovare questo (e molto materiale correlato) nel libro di testo sulla stima dei parametri e sui problemi inversi che ho coautore con Rick Aster e Cliff Thurber.

— Brian Borchers,

Consentitemi inoltre di aggiungere che calcolare effettivamente questa matrice inversa non è in genere il modo migliore per utilizzare questa formula. A seconda delle dimensioni e la possibile scarsità di potrebbe essere molto meglio utilizzando uno schema iterativo o semplicemente utilizzando la fattorizzazione di Cholesky della matrice .

X

$X$

X^{T} X + λ I

$X^{T}X + \lambda I$

— Brian Borchers,

Grazie per i vostri suggerimenti! Apprezzo il riferimento al tuo libro in quanto ho avuto difficoltà a trovare un libro di testo su questo materiale. La nostra dimensione dei dati in realtà non è molto grande (solo che potremmo doverlo applicare molte volte per separare i set di dati), quindi potrebbe essere suscettibile all'inverso diretto, ma grazie per i puntatori aggiuntivi!

— hatmatrix,