Domande taggate «regularization»

Inclusione di ulteriori vincoli (in genere una penalità per la complessità) nel processo di adattamento del modello. Utilizzato per prevenire un eccesso di adattamento / migliorare la precisione predittiva.

2
Perché la regressione della cresta non può fornire una migliore interpretabilità rispetto a LASSO?
Ho già un'idea dei pro e dei contro della regressione della cresta e del LASSO. Per LASSO, il termine di penalità L1 produrrà un vettore di coefficienti sparsi, che può essere visto come un metodo di selezione delle caratteristiche. Tuttavia, ci sono alcune limitazioni per LASSO. Se le funzionalità hanno …
3
Le tecniche di regolarizzazione possono (dovrebbero?) Essere usate in un modello a effetti casuali?
Con le tecniche di regolarizzazione mi riferisco al lazo, alla regressione della cresta, alla rete elastica e simili. Prendere in considerazione un modello predittivo sui dati sanitari contenenti dati demografici e diagnostici in cui è prevista la durata del soggiorno per degenza. Per alcuni individui ci sono più osservazioni LOS …
1
Relazione LASSO tra
La mia comprensione della regressione di LASSO è che i coefficienti di regressione sono selezionati per risolvere il problema di minimizzazione: minβ∥ y- Xβ∥22 s . t . ∥ β∥1≤ tminβ‖y-Xβ‖22 S.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t In pratica questo viene fatto usando un moltiplicatore di …
3
Cosa significano gli statistici quando dicono che non capiamo veramente come funziona il LASSO (regolarizzazione)?
Di recente ho avuto alcuni colloqui statistici sul Lazo (regolarizzazione) e un punto che continua a emergere è che non capiamo davvero perché il Lazo funzioni o perché funzioni così bene. Mi chiedo a cosa si riferisca questa affermazione. Ovviamente capisco perché il Lazo funziona tecnicamente, prevenendo l'eccessivo adattamento mediante …
1
Replica dei risultati per la regressione lineare glmnet utilizzando un ottimizzatore generico
Come afferma il titolo, sto cercando di replicare i risultati di glmnet linear usando l'ottimizzatore LBFGS della libreria lbfgs. Questo ottimizzatore ci consente di aggiungere un termine regolarizzatore L1 senza doversi preoccupare della differenziabilità, purché la nostra funzione obiettivo (senza il termine regolarizzatore L1) sia convessa. Il problema della regressione …
2
Regolarizzazione norma e norma studio empirico
Esistono molti metodi per eseguire la regolarizzazione , ad esempio la regolarizzazione basata sulle norme , e . Secondo Friedman Hastie & Tibsharani , il miglior regolarizzatore dipende dal problema: vale a dire la natura della vera funzione target, la particolare base utilizzata, il rapporto segnale-rumore e la dimensione del …
4
Regolarizzazione: perché moltiplicare per 1 / 2m?
Nelle note di lezione della settimana 3 del corso di apprendimento automatico Coursera di Andrew Ng , viene aggiunto un termine alla funzione di costo per implementare la regolarizzazione: J+( θ ) = J( θ ) + λ2 mΣj = 1nθ2jJ+(θ)=J(θ)+λ2m∑j=1nθj2J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2 Gli appunti delle …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.