Kernel Ridge Regressione Efficiency

La regressione della cresta può essere espressa come dove è l'etichetta prevista , la identifica, l'oggetto per cui stiamo cercando di trovare un'etichetta e la matrice di oggetti tale che:

\hat{y} = (X^{'} X + a I_{d})^{- 1} X x

$\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x$

\hat{y}

$\hat{y}$

I_{d}

$\mathbf{I}_d$

d \times d

$d \times d$

x

$\mathbf{x}$

X

$\mathbf{X}$

n \times d

$n \times d$

n

$n$

x_{i} = (x_{i, 1}, . . ., x_{i, d}) \in R^{d}

$\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d$

X = (\begin{matrix} x_{1, 1} & x_{1, 2} & \dots & x_{1, d} \\ x_{2, 1} & x_{2, 2} & \dots & x_{2, d} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{n, 1} & x_{1, 2} & \dots & x_{n, d} \end{matrix})

$\mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix}$

Possiamo creare il kernel nel modo seguente:

\hat{y} = (K + a I_{d})^{- 1} k

$\hat{y} = (\mathbf{\mathcal{K}} + a\mathbf{I}_d)^{-1} \mathbf{k}$

dove è la matrice delle funzioni del kernel $\mathbf{\mathcal{K}}$ $n \times n$ $K$

K = (\begin{matrix} K (x_{1}, x_{1}) & K (x_{1}, x_{2}) & \dots & K (x_{1}, x_{n}) \\ K (x_{2}, x_{1}) & K (x_{2}, x_{2}) & \dots & K (x_{2}, x_{n}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ K (x_{n}, x_{1}) & K (x_{n}, x_{2}) & \dots & K (x_{n}, x_{n}) \end{matrix})

$\mathcal{K} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x}_1) & K(\mathbf{x}_1,\mathbf{x}_2) & \ldots & K(\mathbf{x}_1,\mathbf{x}_n)\\ K(\mathbf{x}_2,\mathbf{x}_1) & K(\mathbf{x}_2,\mathbf{x}_2) & \ldots & K(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ K(\mathbf{x}_n,\mathbf{x}_1) & K(\mathbf{x}_n,\mathbf{x}_2) &\ldots & K(\mathbf{x}_n,\mathbf{x}_n) \end{pmatrix}$

e il vettore colonna delle funzioni del kernel $\mathbf{k}$ $n \times 1$ $K$

k = (\begin{matrix} K (x_{1}, x) \\ K (x_{2}, x) \\ ⋮ \\ K (x_{n}, x) \end{matrix})

$\mathbf{k} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x})\\ K(\mathbf{x}_2,\mathbf{x}) \\ \vdots \\ K(\mathbf{x}_n,\mathbf{x}) \end{pmatrix}$

Domande:

(a) se ci sono più oggetti rispetto alle dimensioni, ha senso non usare i kernel? Ad esempio, sarà una matrice , quindi sarà una e finiremo per invertire una matrice invece della matrici dovremmo invertire se dovessimo usare i kernel. Questo significa che se non dovremmo usare i kernel? $\mathbf{x}_i$ $\mathbf{X}$ $50 \times 3$ $\mathbf{X}'\mathbf{X}$ $3 \times 3$ $3 \times 3$ $50 \times 50$ $d \leq n$

(b) dovrebbe essere usato il kernel più semplice possibile? Sembra che i kernel nella regressione della cresta vengano utilizzati per negare le influenze della dimensionalità e non utilizzare determinate proprietà dello spazio delle caratteristiche (a differenza delle macchine vettoriali di supporto). Tuttavia, i kernel possono modificare le distanze tra gli oggetti, quindi ci sono spesso kernel popolari usati nella regressione della cresta?

regression ridge-regression kernel-trick

— Elica
fonte

"efficienza" ha un significato diverso nelle statistiche. Intendevi "complessità computazionale"? (nel titolo)

— Memming

Intendevo "efficienza algoritmica". Anche se è vero che le mie domande essenzialmente riducono questo a "complessità computazionale".

— Helix,

(a) Lo scopo dell'uso di un kernel è risolvere un problema di regressione non lineare in questo caso. Un buon kernel ti permetterà di risolvere i problemi in uno spazio di funzionalità possibilmente infinito-dimensionale. Ma usare un kernel lineare e fare la regressione della cresta del kernel nel doppio spazio equivale a risolvere il problema nello spazio primario , cioè, non porta alcun vantaggio (è solo molto più lento man mano che il numero di campioni cresce come hai osservato). $K(\mathbf{x,y}) = \mathbf{x}^\top \mathbf{y}$

(b) Una delle scelte più popolari è il kernel esponenziale quadrato che è universale (vedi riferimento sotto). Esistono molti kernel e ognuno di essi indurrà un prodotto interno diverso (e quindi metrico) nel tuo spazio delle caratteristiche. $K(x,y) = \exp(-\frac{\tau}{2} ||\mathbf{x}-\mathbf{y}||^2)$

(c) L'implementazione semplice richiede la risoluzione di un'equazione lineare di dimensione , quindi è . Esistono molti metodi di approssimazione più rapidi come l'approssimazione di Nyström. Questa è un'area di ricerca attiva. $n$ $O(n^3)$

Riferimenti:

Bharath Sriperumbudur, Kenji Fukumizu e Gert Lanckriet. Sul rapporto tra universalità, kernel caratteristici e incorporamento di misure RKHS. Journal of Machine Learning Research, 9: 773–780, 2010.
Bernhard Schlkopf, Alexander J. Smola. Imparare con i kernel: supportare macchine vettoriali, regolarizzazione, ottimizzazione e oltre il 2002

— Memming
fonte