In una regressione non aperta, è spesso possibile ottenere una cresta * nello spazio dei parametri, in cui molti valori diversi lungo la cresta fanno tutti altrettanto o quasi anche con il criterio dei minimi quadrati.
* (almeno, è una cresta nella funzione di probabilità - in realtà sono valli $ nel criterio RSS, ma continuerò a chiamarla una cresta, poiché sembra essere convenzionale - o addirittura, come indica Alexis nei commenti, potrei definirlo un thalweg , essendo la controparte della valle di una cresta)
In presenza di una cresta nel criterio dei minimi quadrati nello spazio dei parametri, la penalità che si ottiene con la regressione della cresta si libera di quelle creste spingendo il criterio verso l'alto mentre i parametri si allontanano dall'origine:
[ Immagine più chiara ]
Nel primo grafico, una grande modifica dei valori dei parametri (lungo la cresta) produce una minuscola modifica nel criterio RSS. Ciò può causare instabilità numerica; è molto sensibile alle piccole modifiche (ad es. una piccola modifica nel valore di un dato, persino un errore di troncamento o arrotondamento). Le stime dei parametri sono quasi perfettamente correlate. È possibile ottenere stime di parametri di dimensioni molto grandi.
Al contrario, sollevando la cosa che riduce la regressione della cresta (aggiungendo la penalità ) quando i parametri sono lontani da 0, piccoli cambiamenti nelle condizioni (come un piccolo arrotondamento o errore di troncamento) non possono produrre cambiamenti giganteschi nel risultato stime. Il termine di penalità si traduce in una riduzione verso 0 (con conseguente distorsione). Una piccola quantità di distorsione può acquistare un sostanziale miglioramento della varianza (eliminando quella cresta).L2
L'incertezza delle stime è ridotta (gli errori standard sono inversamente correlati alla seconda derivata, che è resa più grande dalla penalità).
La correlazione nelle stime dei parametri è ridotta. Ora non otterrai stime di parametri molto grandi se l'RSS per piccoli parametri non sarebbe molto peggio.