Perché utilizzare le stime Lasso rispetto alle stime OLS sul sottoinsieme di variabili identificato da Lasso?

Per regressione Lazo supponiamo che la soluzione migliore (ad esempio un errore minimo di test) selezioni funzioni, in modo che \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {lasso}, 0, ... 0 \ right) .

Sappiamo che $\left(\hat{\beta}_1^{lasso},\hat{\beta}_2^{lasso},...,\hat{\beta}_k^{lasso}\right)$ è un stima distorta di $\left(\beta_1,\beta_2,...,\beta_k\right)$ , quindi perché prendiamo ancora $\hat{\beta}^{lasso}$ come soluzione finale, anziché la più "ragionevole" $\hat{\beta}^{new}=\left(\hat{\beta}_{1:k}^{new},0,...,0\right)$ , dove $\hat{\beta}_{1:k}^{new}$ è la stima LS dal modello parziale $L^{new}(\beta_{1:k})=(X_{1:k}\beta-y)'(X_{1:k}\beta-y)$ . ( $X_{1:k}$ indica le colonne di $X$ corrispondenti alle $k$ caratteristiche selezionate).

In breve, perché utilizziamo Lazo sia per la selezione delle funzioni che per la stima dei parametri, anziché solo per la selezione delle variabili (e lasciando la stima sulle caratteristiche selezionate su OLS)?

(Inoltre, cosa significa che 'Lazo può selezionare al massimo $n$ funzioni'? $n$ è la dimensione del campione.)

Non credo che ci sia qualcosa di sbagliato nell'usare LASSO per la selezione delle variabili e poi nell'utilizzare OLS. Da " Elements of Statistical Learning " (pag. 91)

... il restringimento del lazo fa sì che le stime dei coefficienti diversi da zero siano distorte verso lo zero e in generale non sono coerenti [ Nota aggiunta: ciò significa che, con l'aumentare della dimensione del campione, le stime dei coefficienti non convergono] . Un approccio per ridurre questo pregiudizio consiste nell'eseguire il lazo per identificare l'insieme di coefficienti diversi da zero e quindi adattare un modello lineare non limitato all'insieme di caratteristiche selezionato. Questo non è sempre possibile, se il set selezionato è grande. In alternativa, è possibile utilizzare il lazo per selezionare l'insieme di predittori diversi da zero, quindi applicare nuovamente il lazo, ma utilizzando solo i predittori selezionati dal primo passaggio. Questo è noto come lazo rilassato(Meinshausen, 2007). L'idea è di utilizzare la convalida incrociata per stimare il parametro di penalità iniziale per il lazo, quindi di nuovo per un secondo parametro di penalità applicato all'insieme selezionato di predittori. Poiché le variabili nella seconda fase hanno meno "concorrenza" rispetto alle variabili del rumore, la convalida incrociata tenderà a scegliere un valore inferiore per [parametro di penalità], e quindi i loro coefficienti saranno ridotti di meno rispetto a quelli nella stima iniziale.$\lambda$

Un altro approccio ragionevole simile nello spirito al lazo rilassato sarebbe quello di utilizzare il lazo una volta (o più volte in tandem) per identificare un gruppo di variabili predittive candidate. Quindi utilizzare la regressione dei migliori sottoinsiemi per selezionare le migliori variabili predittive da considerare (vedere anche "Elementi di apprendimento statistico" per questo). Affinché ciò funzioni, è necessario perfezionare il gruppo di predittori candidati fino a circa 35, il che non sarà sempre fattibile. È possibile utilizzare la convalida incrociata o AIC come criterio per evitare un eccesso di adattamento.

Se il tuo obiettivo è ottenere prestazioni ottimali nel campione (rispetto al massimo R al quadrato), usa semplicemente OLS su ogni variabile disponibile. La caduta di variabili ridurrà R al quadrato.

Se il tuo obiettivo è una buona prestazione fuori campione (che di solito è molto più importante), la tua strategia proposta soffrirà di due fonti di overfitting:

• Selezione di variabili in base alle correlazioni con la variabile di risposta
• Stime OLS

Lo scopo di LASSO è ridurre le stime dei parametri verso lo zero per combattere oltre due fonti di overfitting. Le previsioni nel campione saranno sempre peggiori dell'OLS, ma la speranza è (a seconda della forza della penalizzazione) di ottenere un comportamento fuori campione più realistico.

Riguardo a : questo (probabilmente) dipende dall'implementazione di LASSO che stai usando. Una variante, Lars (regressione dell'angolo minimo), funziona facilmente per p > n .$p > n$$p > n$

Per quanto riguarda la domanda dei PO del perché Lasso può selezionare al massimo n funzioni:

Considera perché un OLS potrebbe essere distorto: questo è quando ci sono più predittori ( p ) che osservazioni ( n ). Pertanto dimensioni [p, p] in β = ( X T X ) - 1 X T$X^{T}X$$\beta = (X^{T} X)^{-1}X^{T}Y$ . Prendere un'inverso di tale matrice non è possibile (può essere singolare).

Il lazo è costretto a ridurre i coefficienti delle variabili in modo che ciò non accada, quindi non seleziona mai più di n caratteristiche in modo che sia sempre invertibile.$X^{T}X$