Domanda sulla standardizzazione nella regressione della cresta

Ehi ragazzi, ho trovato uno o due documenti che usano la regressione della cresta (per i dati sul basket). Mi è stato sempre detto di standardizzare le mie variabili se ho eseguito una regressione della cresta, ma mi è stato semplicemente detto di farlo perché la cresta era una variante di scala (la regressione della cresta non faceva davvero parte del nostro corso, quindi il nostro docente l'ha sfogliato).

Questi articoli che ho letto non hanno standardizzato le loro variabili, cosa che ho trovato un po 'sorprendente. Hanno anche finito con grandi valori di lambda (intorno al livello 2000-4000) attraverso la validazione incrociata, e mi è stato detto che ciò è dovuto al fatto di non standardizzare le variabili.

In che modo lasciare le variabili non standardizzate esattamente come porta a valori lambda elevati e anche quali sono le conseguenze della mancata standardizzazione delle variabili in generale? È davvero un grosso problema?

Ogni aiuto è molto apprezzato.

La regressione della cresta regolarizza la regressione lineare imponendo una penalità sulla dimensione dei coefficienti. Pertanto i coefficienti vengono ridotti verso lo zero e verso l'altro. Ma quando ciò accade e se le variabili indipendenti non hanno la stessa scala, la riduzione non è corretta. Due variabili indipendenti con scale diverse avranno diversi contributi ai termini penalizzati, poiché il termine penalizzato è una somma di quadrati di tutti i coefficienti. Per evitare questo tipo di problemi, molto spesso, le variabili indipendenti sono centrate e ridimensionate per avere la varianza 1.

[Modifica successiva per rispondere al commento]

$height$ . Ora, l'altezza umana potrebbe essere misurata in pollici o metri o chilometri. Se misurato in chilometri, rispetto alla regressione lineare standard, penso che fornirà un termine di coefficiente molto più grande, che se misurato in millimetri.

Il termine di penalizzazione con lambda equivale a esprimere la funzione di perdita quadrata rispetto alla somma dei coefficienti quadrati inferiore o uguale a una data costante. Ciò significa che una lambda più grande dà molto spazio alla somma quadrata dei coefficienti e una lambda inferiore uno spazio più piccolo. Spazio più grande o più piccolo significa valori assoluti più o meno grandi dei coefficienti.

Non utilizzando la standardizzazione, quindi per adattarsi al modello potrebbe essere necessario un valore assoluto elevato dei coefficienti. Naturalmente, potremmo avere un grande valore di coefficiente naturalmente, a causa del ruolo della variabile nel modello. Quello che dico è che questo valore potrebbe avere un valore gonfiato artificialmente a causa del non ridimensionamento. Pertanto, il ridimensionamento riduce anche la necessità di valori elevati di coefficienti. Pertanto, il valore ottimale di lambda sarebbe generalmente più piccolo, il che corrisponde a una somma minore di valori quadrati di coefficienti.

Anche se con quattro anni di ritardo, spero che qualcuno trarrà beneficio da questo .... Il modo in cui l'ho capito, coeff è quanto cambia la variabile target per un cambio di unità in variabile indipendente (dy / dx). Supponiamo di studiare la relazione tra peso e altezza e il peso è misurato in Kg. Quando utilizziamo Chilometri per l'altezza, puoi immaginare la maggior parte dei punti dati (per l'altezza umana) impacchettati da vicino. Pertanto, per una piccola variazione frazionata in altezza ci saranno enormi cambiamenti di peso (supponendo un aumento di peso con l'altezza). Il rapporto dy / dx sarà enorme. D'altra parte, se l'altezza viene misurata in millimetri, i dati verranno sparsi in lungo e in largo sugli attributi di altezza. Una variazione di unità in altezza non avrà variazioni significative di peso dy / dx sarà molto piccola quasi vicino a 0.