Ho sentito che la regressione della cresta può essere derivata come media di una distribuzione posteriore, se il priore viene scelto adeguatamente. L'intuizione che i vincoli impostati sui coefficienti di regressione dal precedente (ad es. Distribuzioni normali standard attorno a 0) sono identici / sostituisce la penalità impostata sulla dimensione quadrata dei coefficienti? Il priore deve essere gaussiano per mantenere questa equivalenza?
Risposte:
No, nel senso che altri priori si collegano logicamente ad altre sanzioni. In generale, si desidera una maggiore massa vicino all'effetto zero ( ) per ridurre il sovradimensionamento / l'interpretazione eccessiva. Ridge è una penalità quadratica (L2, gaussiana), il lazo è unPenalità (L1, Laplace o doppia distribuzione esponenziale). Sono disponibili molte altre penalità (priori). L'approccio bayesiano ha il vantaggio di produrre una solida interpretazione (e solidi intervalli credibili) mentre la stima della massima verosimiglianza penalizzata (cresta, lazo, ecc.) Produce valori e intervalli di confidenza difficili da interpretare, perché l'approccio frequentista è alquanto confuso da stimatori distorti (ridotti verso zero).
Due punti:
La distribuzione posteriore nel caso bayesiano è una distribuzione. La stima cresta regressione è semplicemente un vettore β e non una distribuzione. Quindi non sono completamente equivalenti.
È vero che nel caso di una probabilità normale multivariata prima e multivariata normale, la parte posteriore è normale multivariata con una media che è la stima della regressione della cresta per un parametro di cresta opportunamente scelto.
La prova di ciò dipende dalla particolare forma del priore e della probabilità e non funziona per i priori generali o le funzioni di verosimiglianza.