Cosa significano gli statistici quando dicono che non capiamo veramente come funziona il LASSO (regolarizzazione)?

Di recente ho avuto alcuni colloqui statistici sul Lazo (regolarizzazione) e un punto che continua a emergere è che non capiamo davvero perché il Lazo funzioni o perché funzioni così bene. Mi chiedo a cosa si riferisca questa affermazione. Ovviamente capisco perché il Lazo funziona tecnicamente, prevenendo l'eccessivo adattamento mediante il restringimento dei parametri, ma mi chiedo se dietro tale affermazione ci sia un significato più profondo. Qualcuno ha qualche idea? Grazie!

machine-learning lasso regularization

— user321627
fonte

Definisci "opere". Funziona per fare cosa, esattamente? Funziona per aumentare la scarsità? Funziona per prevenire un eccesso di adattamento? Funziona per produrre test statistici ragionevoli? - O per dirla in altro modo, cosa significherebbe "non funzionare" in questo contesto? - Come puoi vedere dai commenti sulla risposta attuale, c'è un po 'di confusione su ciò che stai cercando.

— RM

@RM, in realtà stai solo riformulando l'OP, IMHO. L'OP è probabilmente dopo lo stesso sconosciuto di quello che hai difficoltà a identificare.

— Richard Hardy,

@RichardHardy Vedo come potrebbe essere il caso, ma in tal caso, spero che il PO possa almeno espandersi sul contesto in quei colloqui statistici in cui è emerso il punto, speriamo di aiutarci a concentrarci su ciò che quegli oratori potrebbero ho pensato.

— RM

@RM, bene allora.

— Richard Hardy,

Risposte:

A volte manca la comunicazione tra gli statistici che lavorano e la comunità della teoria dell'apprendimento che studia le basi di metodi come il lazo. Le proprietà teoriche del lazo sono in realtà molto ben comprese.

Questo documento ha una sintesi nella sezione 4 di molte delle proprietà di cui gode. I risultati sono abbastanza tecnici, ma essenzialmente:

Recupera il vero supporto (insieme di voci diverse da zero) di un vettore di peso scarso sotto alcune ipotesi lievi, per insiemi di dati abbastanza grandi, con alta probabilità.
Converge al vettore di peso corretto alla velocità ottimale all'aumentare della dimensione del campione, purché le colonne di non siano troppo correlate. $X$

— AaronDefazio
fonte

Se comprendendo perché Lasso funziona, intendi capire perché esegue la selezione delle funzioni (ovvero impostando i pesi per alcune funzioni esattamente su 0), capiamo molto bene:

— rinspy
fonte

Grazie per una bella illustrazione, ma sospetto che non sia la parte a cui l'OP è interessato. Certo, spetta all'OP chiarirlo.

— Richard Hardy,

Non capisco i punti del tuo diagramma.

— Michael R. Chernick,

L_{1}

$L_1$

\hat{λ}

$\hat \lambda$

@Chaconne, i tuoi punti costituiscono un'ottima base per una risposta!

— Richard Hardy,

@Chaconne, che sembrava generare una discussione utile se, individuando ciò che facciamo capisce su Lasso!

— risciacquo

C'è il problema del recupero dei segni di coerenza nella selezione dei modelli (che ha risposto agli statistici ) e

c'è il problema dell'inferenza (costruzione di intervalli di buona fiducia per le stime), che è fino a un argomento di ricerca.

Gran parte del lavoro viene svolto dagli statistici piuttosto che dalla "comunità della teoria dell'apprendimento".

— Gao Zheng
fonte

Come si aggiunge a ciò che è già stato dato?

— Michael R. Chernick,

Nessuno ha menzionato il problema dell'inferenza qui, che credo sia il motivo per cui l'affermazione ("non è ben compresa") è stata fatta in primo luogo.

— Gao Zheng,