Regressione lineare vs RKHS regolarizzata

Sto studiando la differenza tra regolarizzazione nella regressione RKHS e regressione lineare, ma faccio fatica a capire la differenza cruciale tra i due.

$(x_i,y_i)$ $f(\cdot)$

f (x) \approx u (x) = \sum_{i = 1}^{m} α_{i} K (x, x_{i}),

$\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}$

K (\cdot, \cdot)

$K(\cdot,\cdot)$

α_{m}

$\alpha_m$

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} K α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$ dove, con qualche abuso di notazione, la voce

i, j

$i,j$ 'della matrice

del kernel

K

$K$ è

K (x_{i}, x_{j})

$K(x_{i},x_{j})$ . Questo dà

α^{*} = (K + λ n I)^{- 1} Y .

$\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation}$ In alternativa, potremmo trattare il problema come un normale problema di regressione della cresta / regressione lineare:

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}\alpha},\end{equation}$ con soluzione

α^{*} = (K^{T} K + λ n I)^{- 1} K^{T} Y .

$\begin{equation} {\alpha^*=(K^{T}K +\lambda nI)^{-1}K^{T}Y}. \end{equation}$

Quale sarebbe la differenza cruciale tra questi due approcci e le loro soluzioni?

— MthQ
fonte

stats.stackexchange.com/questions/79192/…

— Cagdas Ozgenc

@MThQ - La tua descrizione della regressione della cresta 'normale' non funziona ancora nel doppio? Giusto per chiarire che penso che si supponga che la regressione della cresta normale stia funzionando nel primal (dove viene fatta la rappresentazione esplicita della caratteristica).

— rimodella il

Come probabilmente avrete notato quando scrivete i problemi di ottimizzazione, l'unica differenza nella minimizzazione è quale norma di Hilbert usare per la penalizzazione. Cioè, per quantificare quali "grandi" valori di sono a fini di penalizzazione. Nell'impostazione RKHS, utilizziamo il prodotto interno RKHS, , mentre la regressione della cresta penalizza rispetto alla norma euclidea. $\alpha$ $\alpha^tK\alpha$

Una conseguenza teorica interessante è come ogni metodo effetti lo spettro del kernel riproduzione . Secondo la teoria RKHS, abbiamo che è definito simmetrico positivo definito. Con il teorema spettrale, possiamo scrivere dove è la matrice diagonale degli autovalori e è la matrice ortonormale degli autovettori. Di conseguenza, nell'impostazione RKHS, Nel frattempo, nell'impostazione di regressione di Ridge, nota che per simmetria, $K$ $K$ $K = U^tDU$ $D$ $U$

\begin{aligned} (K + λ n I)^{- 1} Y & = [U^{t} (D + λ n I) U]^{- 1} Y \\ = U^{t} [D + λ n I]^{- 1} U Y . \end{aligned}

$\begin{align} (K+\lambda nI)^{-1}Y &= [U^t(D+\lambda nI)U]^{-1}Y\\ &= U^t[D+\lambda nI]^{-1}UY. \end{align}$

K^{t} K = K^{2}

$K^tK=K^2$

\begin{aligned} (K^{2} + λ n I)^{- 1} K Y & = [U^{t} (D^{2} + λ n I) U]^{- 1} K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} U K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} D U Y \\ = U^{t} [D + λ n D^{- 1}]^{- 1} U Y . \end{aligned}

$\begin{align} (K^2+\lambda nI)^{-1}KY &= [U^t(D^2+\lambda nI)U]^{-1}KY\\ &= U^t[D^2+\lambda nI]^{-1}UKY\\ &= U^t[D^2+\lambda nI]^{-1}DUY\\ &= U^t[D+\lambda nD^{-1}]^{-1}UY. \end{align}$ Lascia che lo spettro di sia . Nella regressione RKHS, gli autovalori sono stabilizzati da . Nella regressione di Ridge, abbiamo . Di conseguenza, RKHS modifica uniformemente gli autovalori mentre Ridge aggiunge un valore maggiore se il corrispondente è più piccolo.

K

$K$

ν_{1}, \dots, ν_{n}

$\nu_1,\ldots,\nu_n$

ν_{i} \to ν_{i} + λ n

$\nu_i\rightarrow\nu_i+\lambda n$

ν_{i} \to ν_{i} + λ n / ν_{i}

$\nu_i\rightarrow \nu_i + \lambda n/\nu_i$

ν_{i}

$\nu_i$

A seconda della scelta del kernel, le due stime per possono essere vicine o distanti tra loro. La distanza nel senso della norma dell'operatore sarà Tuttavia, questo è ancora limitato per un dato $\alpha$

\begin{aligned} ‖ α_{RKHS} - α_{Ridge} ‖_{ℓ^{2}} & = ‖ A_{RKHS} Y - A_{Ridge} Y ‖_{ℓ^{2}} \\ \leq ‖ [D + λ n I]^{- 1} - [D + λ n D^{- 1}]^{- 1} ‖_{\infty} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {| (ν_{i} + λ n)^{- 1} - (ν_{i} + λ n / ν_{i})^{- 1} |} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {\frac{λ n | 1 - ν_{i} |}{(ν_{i} + λ n) (ν_{i}^{2} + λ n)}} ‖ Y ‖_{ℓ^{2}} \end{aligned}

$\begin{align} \|{\alpha_\text{RKHS}-\alpha_\text{Ridge}}\|_{\ell^2} &= \|{ A_\text{RKHS}Y-A_\text{Ridge}Y }\|_{\ell^2}\\ &\le \|[D+\lambda nI]^{-1}-[D+\lambda n D^{-1}]^{-1}\|_\infty\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{| (\nu_i+\lambda n)^{-1} - (\nu_i+\lambda n/\nu_i)^{-1} |\right\}\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{ \frac{\lambda n|1-\nu_i|}{(\nu_i+\lambda n)(\nu_i^2+\lambda n)} \right\}\|Y\|_{\ell^2}\\ \end{align}$

Y

$Y$ , quindi i tuoi due stimatori non possono essere arbitrariamente distanti. Quindi, se il tuo kernel è vicino all'identità, allora probabilmente ci sarà poca differenza negli approcci. Se i tuoi kernel sono molto diversi, i due approcci possono comunque portare a risultati simili.

In pratica, è difficile dire definitivamente se uno è migliore dell'altro per una determinata situazione. Dato che stiamo minimizzando rispetto all'errore quadrato quando rappresentiamo i dati in termini di funzione del kernel, stiamo effettivamente scegliendo una migliore curva di regressione dal corrispondente spazio di funzioni di Hilbert. Quindi, penalizzare rispetto al prodotto interno RKHS sembra essere il modo naturale di procedere.

— Adam B Kashlak
fonte

Hai un riferimento per questo?

— rimodella il