Interpretazione dei coefficienti di regressione di LASSO

Attualmente sto lavorando alla costruzione di un modello predittivo per un risultato binario su un set di dati con ~ 300 variabili e 800 osservazioni. Ho letto molto su questo sito sui problemi associati alla regressione graduale e sul perché non usarlo.

Ho letto la regressione di LASSO e la sua capacità di selezionare le funzionalità e sono riuscito a implementarlo con l'uso del pacchetto "caret" e "glmnet".

Sono in grado di estrarre il coefficiente del modello con l'ottimale lambdae alphadal "cursore"; tuttavia, non ho familiarità con come interpretare i coefficienti.

I coefficienti LASSO sono interpretati nello stesso metodo della regressione logistica?
Sarebbe appropriato utilizzare le funzionalità selezionate da LASSO nella regressione logistica?

MODIFICARE

Interpretazione dei coefficienti, come nei coefficienti esponenziali della regressione di LASSO come probabilità di log per una variazione di 1 unità nel coefficiente mantenendo costanti tutti gli altri coefficienti.

https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpret-odds-ratios-in-logistic-regression/

— Michael Luu
fonte

Riesci a riempire un po 'quello che intendi con "interpretato allo stesso modo della regressione logistica"? Sarebbe molto utile sapere esattamente quali interpretazioni desideri generalizzare.

— Matthew Drury,

@Matthew Drury - Grazie mille per avermi aiutato, visto che i miei corsi non sono mai andati oltre LASSO. In generale, da ciò che mi è stato insegnato durante i miei corsi di laurea, i coefficienti esponenziali di una regressione logistica producono le probabilità logaritmiche di un aumento di 1 unità nel coefficiente mantenendo costanti tutti gli altri coefficienti.

— Michael Luu,

In "caret" seleziona e . Da dove viene ? È probabilmente un iperparametro di una rete elastica (il peso relativo di LASSO rispetto alla penalità della cresta) (nel qual caso useresti effettivamente una rete elastica anziché LASSO)?

α

$\alpha$

λ

$\lambda$

α

$\alpha$

— Richard Hardy,

Per quanto ne so, nella maggior parte delle implementazioni LASSO non sono stati introdotti test di significatività per coefficienti. Quindi una differenza non potrebbe essere che mentre possiamo determinare variabili statisticamente significative in OLS, non possiamo farlo con LASSO se non facendo un'affermazione più debole che i coefficienti LASSO delle variabili corrispondenti selezionate sono le variabili "importanti" da considerare?

— Godspeed,

I coefficienti LASSO sono interpretati nello stesso metodo della regressione logistica?

Consentitemi di riformulare: i coefficienti LASSO sono interpretati allo stesso modo, ad esempio, dei coefficienti di massima verosimiglianza ~~OLS~~ in una regressione logistica?

LASSO (un metodo di stima penalizzato) mira a stimare le stesse quantità (coefficienti del modello) come, diciamo, la massima probabilità ~~OLS~~ (un metodo non aperto). Il modello è lo stesso e l'interpretazione rimane la stessa. I valori numerici di LASSO differiranno normalmente da quelli della massima verosimiglianza ~~OLS~~ : alcuni saranno più vicini a zero, altri saranno esattamente zero. Se è stata applicata una quantità ragionevole di penalizzazione, le stime di LASSO saranno più vicine ai valori reali rispetto alle ~~stime di~~ probabilità massima ~~OLS~~ , il che è un risultato desiderabile.

Sarebbe appropriato utilizzare le funzionalità selezionate da LASSO nella regressione logistica?

Non vi è alcun problema inerente a ciò, ma è possibile utilizzare LASSO non solo per la selezione delle funzionalità ma anche per la stima dei coefficienti. Come accennato in precedenza, le stime di LASSO possono essere più accurate, ad esempio, delle ~~stime di~~ massima verosimiglianza ~~OLS~~ .

— Richard Hardy
fonte

Grazie mille per questa risposta! Ha molto senso! Per favore, scusa la mia limitata conoscenza in materia. Come hai già detto in un altro commento, potrei usare una rete elastica anziché LASSO tramite il cursore, in quanto sceglie lambda e alfa ottimali. Lo stesso vale per i coefficienti?

— Michael Luu,

Sì, lo sarebbe. La logica di base rimane la stessa.

— Richard Hardy,

Scrivi "l'interpretazione rimane la stessa". Potresti aiutarmi a capire questo punto? Mi sembra che l'interpretazione dei coefficienti OLS in un'impostazione di regressione multipla si basi su grafici di regressione parziale . Tuttavia, questa proprietà non vale per i coefficienti di lazo, inducendomi a credere che l'interpretazione sarebbe diversa.

— user795305,

@Ben, se assumiamo un modello statistico sottostante, possiamo stimare i suoi parametri in diversi modi, due dei quali popolari sono OLS e lazo. I coefficienti stimati hanno come target gli stessi target ed entrambi presentano un errore di stima (che, se squadrato, può essere scomposto in bias e varianza), quindi in questo senso la loro interpretazione è la stessa. Ora ovviamente i metodi non sono gli stessi, quindi ottieni diversi valori di coefficienti stimati. Se ti interessano i metodi e le loro interpretazioni algebriche e geometriche, queste non sono le stesse. Ma le interpretazioni sull'argomento sono le stesse.

— Richard Hardy,

@RichardHardy Ah, okay, penso di capire meglio cosa stai dicendo. È certamente vero che il lazo può battere OLS in errore di stima, ma, alla fine della giornata, come dici tu, questi sono solo stimatori per lo stesso obiettivo. Uno stimatore sarebbe interpretato nello stesso modo in cui viene interpretato OLS? Ad esempio, lo stimatore (non casuale) sarebbe interpretato in questo modo? o lo stimatore con iid uniform (0,1) voci? (ecc.) Sembra (per me) che le proprietà dello stimatore debbano essere utilizzate direttamente nella sua interpretazione, e anche le interpretazioni sull'argomento cambieranno.

(1, \dots, p)^{T}

$(1, \dots, p)^T$

— user795305,