Perché Lasso o ElasticNet funzionano meglio di Ridge quando le funzionalità sono correlate

Ho un set di 150 funzionalità e molte di esse sono altamente correlate tra loro. Il mio obiettivo è prevedere il valore di una variabile discreta, il cui intervallo è 1-8 . La mia dimensione del campione è 550 e sto usando una validazione incrociata di 10 volte .

AFAIK, tra i metodi di regolarizzazione (Lasso, ElasticNet e Ridge), Ridge è più rigoroso per la correlazione tra le caratteristiche. Ecco perché mi aspettavo che con Ridge avrei dovuto ottenere una previsione più accurata. Tuttavia, i miei risultati mostrano che l'errore assoluto medio di Lazo o Elastico è di circa 0,61 mentre questo punteggio è 0,97 per la regressione della cresta. Mi chiedo quale sarebbe una spiegazione per questo. È perché ho molte funzionalità e Lasso funziona meglio perché fa una sorta di selezione delle funzionalità, eliminando le funzionalità ridondanti?

$x,z$$\beta_1^2 + \beta_2^2$$\mid \beta_1 \mid + \mid \beta_2 \mid$$x$$z$$Y$$x, z$$x$$z$$0.2 x + 0.8 x, 0.3 x + 0.7 z$$0.5 x + 0.5 z$sarà altrettanto buono quanto i predittori. Ora guarda questi tre esempi, la penalità del lazo in tutti e tre i casi è uguale, è 1, mentre la penalità della cresta differisce, è rispettivamente 0,68, 0,58, 0,5, quindi la penalità della cresta preferirà la stessa ponderazione delle variabili colinear mentre la penalità del lazo non sarà in grado di scegliere. Questo è uno dei motivi per cui la cresta (o più in generale, la rete elastica, che è una combinazione lineare di penalità del lasso e della cresta) funzionerà meglio con i predittori colinear: Quando i dati danno poche ragioni per scegliere tra diverse combinazioni lineari di predittori colinear, il lazo semplicemente "vagare" mentre la cresta tende a scegliere la stessa ponderazione. Quest'ultimo potrebbe essere una supposizione migliore per l'uso con dati futuri! E, se è così con i dati attuali, potrebbe apparire in validazione incrociata come risultati migliori con la cresta.

Possiamo vederlo in modo bayesiano: la cresta e il lazo implicano diverse informazioni precedenti e le informazioni precedenti implicite dalla cresta tendono ad essere più ragionevoli in tali situazioni. (Questa spiegazione qui ho appreso, più o meno, dal libro: "Apprendimento statistico con la rarità il lazo e le generalizzazioni" di Trevor Hastie, Robert Tibshirani e Martin Wainwright, ma in questo momento non sono riuscito a trovare una citazione diretta).

la differenza più importante tra il lazo e la cresta è che il lazo fa naturalmente una selezione, specialmente dove le covariate sono molto correlate. è impossibile essere veramente sicuri senza vedere i coefficienti adattati, ma è facile pensare che tra quelle caratteristiche correlate, molte fossero semplicemente inutili.