Standardizzazione vs. normalizzazione per regressione Lazo / Cresta

Sono consapevole che è prassi comune standardizzare le caratteristiche per la regressione della cresta e del lazo, tuttavia, sarebbe mai più pratico normalizzare le caratteristiche su una scala (0,1) come alternativa alla standardizzazione del punteggio z per questi metodi di regressione?

— Steve
fonte

Risposte:

Se applichi la normalizzazione (stringi in [0,1]) avrai una misura di importanza variabile relativa ma cambierà la scala delle tue variabili e perderai tutta l'interpretazione del modello. Il vantaggio della standardizzazione è che puoi ancora interpretare il modello come faresti con una regressione OLS non regolamentata (questo è già stato risposto qui ).

— digio
fonte

Il modello regolarizzato agisce in modo molto diverso con o senza normalizzazione !! In particolare, se non normiamo le funzionalità, avremo penalità diverse per le diverse funzionalità!

— Haitao Du,

Stavo parlando in particolare dell'interpretazione del coefficiente Lazo , non della stima. Dato che le stime sarebbero cambiate, sarei curioso di sapere come cambierebbe l'interpretazione del modello.

— Digio,

Non mi sembra che la domanda a cui ti colleghi nella tua risposta sostenga il punto che stai ponendo. Potresti rendere più esplicito nel tuo post originale perché l'interpretazione dei coefficienti ols concorda con i coefficienti lazo solo quando le caratteristiche sono standardizzate? Grazie!

— user795305,

@Ben, hai frainteso la mia risposta (forse è colpa mia). La risposta a cui ho collegato spiega come i coefficienti del modello nel lazo e nella regressione semplice (OLS o altro) vengano interpretati allo stesso modo, in qualsiasi circostanza (standardizzata o meno). Con la normalizzazione (in qualsiasi tipo o regressione parametrica), si perde la scala originale e non è possibile interpretare i coefficienti senza back-trasforming. Con la standardizzazione, il modello viene interpretato normalmente.

— Digio,

La normalizzazione è molto importante per i metodi con regolarizzazione. Questo perché la scala delle variabili influisce sulla quantità di regolarizzazione che verrà applicata a una variabile specifica.

Ad esempio, supponiamo che una variabile abbia una scala molto grande, diciamo che l'ordine di milioni e un'altra variabile va da 0 a 1. Quindi, possiamo pensare che la regolarizzazione avrà un effetto limitato sulla prima variabile.

Oltre a normalizzare, normalizzarlo a 0 a 1 o standardizzare le funzionalità non importa troppo.

— Haitao Du
fonte

Questa risposta afferma l'ovvio. Per "normalizzazione" qui si intende comprimere tutti i valori in [0,1], non è solo un'altra parola per standardizzazione. La domanda riguarda gli effetti della normalizzazione in [0,1] rispetto alla standardizzazione ~ N (0,1) sui coefficienti del modello.

— Digio,

Cosa significa normalizzare a [0,1]? Ci sono molti modi per ottenerlo. Qual è esattamente la tua raccomandazione per la regressione penalizzata?

— Cagdas Ozgenc,

Poiché la domanda afferma che "normalizzare le caratteristiche su una scala (0,1)", sebbene forse il riscalaggio delle caratteristiche sia un termine migliore, è una tecnica generale per produrre stime di coefficienti che esprimono importanza variabile relativa (simile alla misura di purezza della RF). Sì, ci sono molti modi per raggiungere questo obiettivo e non è qualcosa di specifico per la regressione penalizzata, ma questa domanda riguarda l'effetto del ridimensionamento delle funzionalità (non della standardizzazione) su Lasso.

— Digio,

cosa intendi per "normalizzarlo a 0 a 1 o standardizzare le funzionalità non importa troppo"? In che senso non importa troppo? Potresti fornire qualche intuizione o riferimenti per questo reclamo?

— user795305,