Nella regressione lineare, perché la regolarizzazione penalizza anche i valori dei parametri?

Attualmente sto imparando la regressione della cresta ed ero un po 'confuso riguardo alla penalizzazione di modelli più complessi (o alla definizione di un modello più complesso).

Da quanto ho capito, la complessità del modello non è necessariamente correlata all'ordine polinomiale. Quindi:

$$2 + 3+ 4x^2 + 5x^3 + 6x^4$$ è un modello più complesso di: $$5x^5$$

E so che il punto di regolarizzazione è mantenere bassa la complessità del modello, quindi diciamo ad esempio che abbiamo un polinomio del 5 ° ordine

$$f(x; w) = w_0 + w_1x + w_2x^2 + w_3x^3 + w_4x^4 + w_5x^5$$

Più parametri sono 0 meglio è.

Ma quello che non capisco è, se fosse lo stesso ordine polinomiale, perché i valori dei parametri inferiori vengono penalizzati di meno? Quindi perché:

$$2 + 5x + x^3$$ è un modello meno complesso di

$$433+ 342x + 323x^3$$ sono entrambi dello stesso ordine polinomiale e i valori dei parametri dipendono semplicemente dai dati.

Grazie!

i valori dei parametri dipendono semplicemente dai dati

Questa è la parte chiave della tua domanda. Questo è dove sei confuso.

Sì, i valori dei parametri dipendono dai dati. Ma i dati vengono corretti quando si adatta un modello. In altre parole, adattiamo un modello subordinato alle osservazioni . Non ha senso confrontare la complessità dei diversi modelli adattati a diversi set di dati .

E nel contesto di un set di dati fisso, un modello

$$2 + 5x + x^3$$

è effettivamente più vicino al modello più semplice possibile, vale a dire il modello zero piatto, rispetto a

$$433+ 342x + 323x^3,$$

e questo vale indipendentemente dalla scala delle tue osservazioni.

$2$$433$$2$$433$