Sto studiando la differenza tra regolarizzazione nella regressione RKHS e regressione lineare, ma faccio fatica a capire la differenza cruciale tra i due.
Quale sarebbe la differenza cruciale tra questi due approcci e le loro soluzioni?
Sto studiando la differenza tra regolarizzazione nella regressione RKHS e regressione lineare, ma faccio fatica a capire la differenza cruciale tra i due.
Quale sarebbe la differenza cruciale tra questi due approcci e le loro soluzioni?
Risposte:
Come probabilmente avrete notato quando scrivete i problemi di ottimizzazione, l'unica differenza nella minimizzazione è quale norma di Hilbert usare per la penalizzazione. Cioè, per quantificare quali "grandi" valori di sono a fini di penalizzazione. Nell'impostazione RKHS, utilizziamo il prodotto interno RKHS, , mentre la regressione della cresta penalizza rispetto alla norma euclidea.α t K α
Una conseguenza teorica interessante è come ogni metodo effetti lo spettro del kernel riproduzione . Secondo la teoria RKHS, abbiamo che è definito simmetrico positivo definito. Con il teorema spettrale, possiamo scrivere dove è la matrice diagonale degli autovalori e è la matrice ortonormale degli autovettori. Di conseguenza, nell'impostazione RKHS, Nel frattempo, nell'impostazione di regressione di Ridge, nota che per simmetria, K K = U t D U D( K + λ n I ) - 1 YKtK=K
A seconda della scelta del kernel, le due stime per possono essere vicine o distanti tra loro. La distanza nel senso della norma dell'operatore sarà Tuttavia, questo è ancora limitato per un datoY
In pratica, è difficile dire definitivamente se uno è migliore dell'altro per una determinata situazione. Dato che stiamo minimizzando rispetto all'errore quadrato quando rappresentiamo i dati in termini di funzione del kernel, stiamo effettivamente scegliendo una migliore curva di regressione dal corrispondente spazio di funzioni di Hilbert. Quindi, penalizzare rispetto al prodotto interno RKHS sembra essere il modo naturale di procedere.