Domande taggate «ridge-regression»

La domanda Cosa concludere da questo diagramma del lazo (glmnet) dimostra percorsi di soluzione per lo stimatore del lazo che non sono monotonici. Cioè, alcuni cofficients crescono in valore assoluto prima che si restringano. Ho applicato questi modelli a diversi tipi di set di dati e non ho mai visto …

18 lasso  ridge-regression  elastic-net 

Sto usando la regressione della cresta su dati altamente multicollineari. Usando OLS ottengo grandi errori standard sui coefficienti dovuti alla multicollinearità. So che la regressione della cresta è un modo per affrontare questo problema, ma in tutte le implementazioni della regressione della cresta che ho visto, non ci sono errori …

18 standard-error  ridge-regression 

Qual è la differenza tra Primal , Dual e Kernel Ridge Regression? Le persone usano tutte e tre le cose e, a causa della diversa notazione che tutti usano su fonti diverse, è difficile per me seguire. Qualcuno può dirmi in parole semplici qual è la differenza tra questi tre? …

18 regression  kernel-trick  ridge-regression 

Durante un esperimento per la classificazione del testo, ho scoperto che il classificatore di cresta genera risultati che completano costantemente i test tra quei classificatori che sono più comunemente citati e applicati per attività di estrazione del testo, come SVM, NB, kNN, ecc. Tuttavia, non ho elaborato sull'ottimizzazione di ogni …

18 machine-learning  classification  text-mining  ridge-regression 

Stimatori di regressione penalizzati come LASSO e cresta corrispondono a stimatori bayesiani con alcuni priori. Immagino (dato che non conosco abbastanza le statistiche bayesiane) che per un parametro di accordatura fisso esiste un precedente corrispondente concreto. Ora un frequentista ottimizzerebbe il parametro di ottimizzazione mediante validazione incrociata. Esiste un equivalente …

17 bayesian  lasso  ridge-regression 

Sto implementando Ridge Regression in un modulo Python / C, e ho riscontrato questo "piccolo" problema. L'idea è che voglio campionare i gradi di libertà effettivi più o meno equamente distanziati (come la trama a pagina 65 su "Elementi di apprendimento statistico" ), cioè campione: df(λ)=∑i=1pd2id2i+λ,df(λ)=∑i=1pdi2di2+λ,\mathrm{df}(\lambda)=\sum_{i=1}^{p}\frac{d_i^2}{d_i^2+\lambda},d2idi2d_i^2XTXXTXX^TXdf(λmax)≈0df(λmax)≈0\mathrm{df}(\lambda_{\max})\approx 0df(λmin)=pdf(λmin)=p\mathrm{df}(\lambda_{\min})=pλmax=∑pid2i/cλmax=∑ipdi2/c\lambda_{\max}=\sum_i^p d_i^2/cλmax≫d2iλmax≫di2\lambda_{\max} \gg d_i^2cccc=0.1c=0.1c=0.1λmin=0λmin=0\lambda_{\min}=0 …

17 ridge-regression 

Conosco i vantaggi della regolarizzazione quando si creano modelli predittivi (distorsione rispetto alla varianza, prevenendo un eccesso di adattamento). Ma mi chiedo se sia una buona idea fare anche regolarizzazione (lazo, cresta, rete elastica) quando lo scopo principale del modello di regressione è l'inferenza sui coefficienti (vedere quali predittori sono …

17 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Ho un set di 150 funzionalità e molte di esse sono altamente correlate tra loro. Il mio obiettivo è prevedere il valore di una variabile discreta, il cui intervallo è 1-8 . La mia dimensione del campione è 550 e sto usando una validazione incrociata di 10 volte . AFAIK, …

17 regression  lasso  regularization  ridge-regression  elastic-net 

Considera un problema di regressione OLS standard : Ho matrici e e voglio trovare per minimizzare L = \ | \ Y- \ X \ B \ | ^ 2. La soluzione è data da \ hat \ B = \ argmin_ \ B \ {L \} = (\ X …

16 regression  least-squares  ridge-regression 

Quando si spiega la regressione di LASSO, viene spesso utilizzato il diagramma di un diamante e un cerchio. Si dice che, poiché la forma del vincolo in LASSO è un diamante, la soluzione dei minimi quadrati ottenuta potrebbe toccare l'angolo del diamante in modo tale da provocare una riduzione di …

16 regression  lasso  ridge-regression 

La regressione di Ridge stima i parametri ββ\boldsymbol \beta in un modello lineare y=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \beta by β^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y, dove λλ\lambda è un parametro di regolarizzazione. È noto che spesso si comporta meglio …

16 regression  ridge-regression  shrinkage 

Nella regressione del lazo o della cresta, è necessario specificare un parametro di restringimento, spesso chiamato da o . Questo valore viene spesso scelto tramite validazione incrociata controllando un sacco di valori diversi sui dati di allenamento e vedendo quale produce il migliore, ad es. sui dati di test. Qual …

16 regression  lasso  regularization  ridge-regression  penalized 

C'è già un post su questo sito che parla dello stesso problema: perché il restringimento funziona? Ma, anche se le risposte sono popolari, non credo che l'essenza della domanda sia davvero indirizzata. È abbastanza chiaro che l'introduzione di una distorsione nella stima comporta una riduzione della varianza e può migliorare …

15 regularization  ridge-regression  shrinkage 

Sono a conoscenza del tipo di regolarizzazione LASSO, cresta e rete elastica nei modelli di regressione lineare. Domanda: Questo (o un simile) tipo di stima penalizzata può essere applicato alla modellazione ARIMA (con una parte MA non vuota)? Nella costruzione di modelli ARIMA, sembra consueto considerare un ordine di ritardo …

15 time-series  arima  lasso  regularization  ridge-regression 

Sto cercando di vedere se scegliere regressione della cresta , LASSO , regressione del componente principale (PCR) o Minimi quadrati parziali (PLS) in una situazione in cui vi sono un gran numero di variabili / caratteristiche ( ) e un numero minore di campioni ( ) e il mio obiettivo …

15 regression  pca  lasso  ridge-regression  partial-least-squares