Domande taggate «ridge-regression»

Un metodo di regolarizzazione per i modelli di regressione che riduce i coefficienti verso lo zero.

3
Quando dovrei usare lasso vs ridge?
Supponiamo che io voglia stimare un gran numero di parametri e voglio penalizzarne alcuni perché credo che dovrebbero avere scarso effetto rispetto agli altri. Come faccio a decidere quale schema di penalizzazione utilizzare? Quando è più appropriata la regressione della cresta? Quando dovrei usare il lazo?



2
Perché la regressione della cresta si chiama "cresta", perché è necessaria e cosa succede quando va all'infinito?
Stima del coefficiente di regressione della cresta sono i valori che minimizzano il valoreβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Le mie domande sono: Se , allora vediamo che l'espressione sopra si riduce al solito RSS. E se ? Non capisco la spiegazione da manuale del comportamento dei coefficienti.λ=0λ=0\lambda = 0λ→∞λ→∞\lambda …

5
Vista unificata sulla contrazione: qual è la relazione (se presente) tra il paradosso di Stein, la regressione della cresta e gli effetti casuali nei modelli misti?
Considera i seguenti tre fenomeni. Paradosso di Stein: dati alcuni dalla distribuzione normale multivariata in , la media campionaria non è un ottimo stimatore della media vera. Si può ottenere una stima con errore quadratico medio inferiore se si riducono tutte le coordinate della media campionaria verso zero [o verso …

5
Quale problema risolvono i metodi di contrazione?
Le festività natalizie mi hanno dato l'opportunità di rannicchiarsi vicino al fuoco con The Elements of Statistical Learning . Provenendo da una prospettiva econometrica (frequentista), ho difficoltà a cogliere gli usi dei metodi di contrazione come regressione della cresta, lazo e regressione dell'angolo minimo (LAR). In genere, sono interessato alle …

3
Perché la stima della cresta diventa migliore dell'OLS aggiungendo una costante alla diagonale?
Comprendo che la stima della regressione della cresta è il ββ\beta che minimizza la somma residua del quadrato e una penalità sulla dimensione di ββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Tuttavia, non capisco appieno il significato del fatto che differisce da aggiungendo solo …

2
Perché funziona il restringimento?
Al fine di risolvere i problemi di selezione del modello, una serie di metodi (LASSO, regressione della cresta, ecc.) Ridurrà i coefficienti delle variabili predittive verso lo zero. Sto cercando una spiegazione intuitiva del perché questo migliora l'abilità predittiva. Se il vero effetto della variabile era in realtà molto grande, …

6
La regressione della cresta è inutile in dimensioni elevate (
Considera un buon vecchio problema di regressione con predittori e dimensione del campione . La solita saggezza è che lo stimatore OLS si sovraccaricherà e sarà generalmente sovraperformato dallo stimatore della regressione della cresta:È standard utilizzare la convalida incrociata per trovare un parametro di regolarizzazione ottimale . Qui uso un …

5
Come derivare la soluzione di regressione della cresta?
Sto riscontrando alcuni problemi con la derivazione della soluzione per la regressione della cresta. Conosco la soluzione di regressione senza il termine di regolarizzazione: β= ( XTX)- 1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Ma dopo aver aggiunto il termine L2 alla funzione di costo, come mai la soluzione diventaλ ∥ β∥22λ‖β‖22\lambda\|\beta\|_2^2 β= ( …

2
Se solo la previsione è interessante, perché usare il lazo sulla cresta?
A pagina 223 in Un'introduzione all'apprendimento statistico , gli autori sintetizzano le differenze tra regressione della cresta e lazo. Forniscono un esempio (Figura 6.9) di quando "il lazo tende a sovraperformare la regressione della cresta in termini di distorsione, varianza e MSE". Capisco perché il lazo può essere desiderabile: si …


1
Quando è davvero necessaria la validazione incrociata nidificata e può fare la differenza pratica?
Quando si utilizza la convalida incrociata per effettuare la selezione del modello (come ad esempio la regolazione dell'iperparametro) e per valutare le prestazioni del modello migliore, è necessario utilizzare la convalida incrociata nidificata . L'anello esterno serve per valutare le prestazioni del modello e l'anello interno deve selezionare il modello …



Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.