So che la regressione lineare può essere pensata come "la linea che è verticalmente più vicina a tutti i punti" :
Ma c'è un altro modo di vederlo, visualizzando lo spazio delle colonne, come "la proiezione sullo spazio attraversato dalle colonne della matrice dei coefficienti" :
La mia domanda è: in queste due interpretazioni, cosa succede quando utilizziamo la regressione lineare penalizzata, come la regressione della cresta e LASSO ? Cosa succede con la linea nella prima interpretazione? E cosa succede con la proiezione nella seconda interpretazione?
AGGIORNAMENTO: @JohnSmith nei commenti ha sollevato il fatto che la penalità si verifica nello spazio dei coefficienti. C'è un'interpretazione anche in questo spazio?