Statistiche e Big Data ridge-regression

1

La regressione con la regolarizzazione L1 è la stessa di Lazo e con la regolarizzazione L2 è uguale alla regressione della cresta? E come scrivere "Lasso"?

Sono un ingegnere informatico che impara l'apprendimento automatico, in particolare attraverso i corsi di apprendimento automatico di Andrew Ng . Mentre studiavo la regressione lineare con la regolarizzazione , ho trovato termini che confondono: Regressione con regolarizzazione L1 o regolarizzazione L2 LASSO Regressione della cresta Quindi le mie domande: La …

33 regression terminology lasso regularization ridge-regression

2

La regolarizzazione di Tikhonov è la stessa della regressione di Ridge?

La regolarizzazione di Tikhonov e la regressione della cresta sono termini spesso usati come se fossero identici. È possibile specificare esattamente qual è la differenza?

33 regression terminology regularization ridge-regression tikhonov-regularization

4

Cresta, lazo e rete elastica

Come si confrontano i metodi di regolarizzazione di ridge, LASSO ed elasticnet? Quali sono i loro rispettivi vantaggi e svantaggi? Sarebbe anche apprezzato qualsiasi buon documento tecnico o appunti di lezione.

33 references lasso regularization ridge-regression elastic-net

2

Quando la regolarizzazione di L1 funzionerà meglio di L2 e viceversa?

Nota: so che L1 ha proprietà di selezione delle caratteristiche. Sto cercando di capire quale scegliere quando la selezione delle funzionalità è completamente irrilevante. Come decidere quale regolarizzazione (L1 o L2) usare? Quali sono i pro e i contro di ciascuna delle regolarizzazioni L1 / L2? Si consiglia di fare …

30 regression lasso regularization ridge-regression

2

Perché la regressione della cresta glmnet mi dà una risposta diversa rispetto al calcolo manuale?

Sto usando glmnet per calcolare le stime di regressione della cresta. Ho ottenuto alcuni risultati che mi hanno fatto sospettare che glmnet stia davvero facendo quello che penso faccia. Per verificare questo ho scritto un semplice script R in cui comparo il risultato della regressione della cresta effettuata da risolvere …

28 r ridge-regression glmnet

3

Interpretazione della regolarizzazione della cresta nella regressione

Ho diverse domande riguardanti la penalità della cresta nel contesto dei minimi quadrati: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) L'espressione suggerisce che la matrice di covarianza di X è ridotta verso una matrice diagonale, il che significa che (supponendo che le variabili siano standardizzate prima della procedura) verrà ridotta …

25 regression pca regularization ridge-regression

4

Stime di regressione L1 mediane mentre stime di regressione L2 significano?

Quindi mi è stata posta una domanda sulla stima delle misure centrali L1 (es. Lazo) e L2 (es. Regressione della cresta). La risposta è L1 = mediana e L2 = media. C'è qualche tipo di ragionamento intuitivo in questo? O deve essere determinato algebricamente? In tal caso, come posso fare …

24 lasso regularization loss-functions ridge-regression

1

Pena di ponte contro regolarizzazione della rete elastica

Alcune funzioni e approssimazioni di penalità sono ben studiate, come il LASSO ( ) e il Ridge ( ) e come si confrontano nella regressione.L1L1L_1L2L2L_2 Ho letto della penalità Bridge, che è la penalità generalizzata . Confrontalo con il LASSO, che ha \ gamma = 1 , e il Ridge, …

22 regression lasso regularization ridge-regression elastic-net

2

Il limite dello stimatore della regressione della cresta "varianza unitaria" quando

Considera la regressione della cresta con un vincolo aggiuntivo che richiede che abbia la somma unitaria dei quadrati (equivalentemente, varianza unitaria); se necessario, si può presumere che abbia anche la somma unitaria dei quadrati:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. Qual …

21 pca regularization ridge-regression partial-least-squares constrained-regression

2

copertura degli intervalli di confidenza con stime regolarizzate

Supponiamo che stia provando a stimare un gran numero di parametri da alcuni dati ad alta dimensione, usando una sorta di stime regolarizzate. Il regolarizzatore introduce un certo pregiudizio nelle stime, ma può ancora essere un buon compromesso perché la riduzione della varianza dovrebbe più che compensare. Il problema si …

21 confidence-interval bias regularization ridge-regression coverage-probability

5

Motivo per non ridurre il termine del bias (intercetta) nella regressione

Per un modello lineare y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilon , il termine di restringimento è sempre P(β)P(β)P(\beta) . Qual è la ragione per cui non restringiamo il termine bias (intercetta) β0β0\beta_0 ? Dovremmo ridurre il termine di distorsione nei modelli di rete neurale?

21 regression neural-networks ridge-regression intercept shrinkage

2

Quali sono i presupposti della regressione della cresta e come testarli?

Considera il modello standard per la regressione multipla dove , quindi valgono la normalità, l'omosedasticità e la non correlazione degli errori.ε ∼ N ( 0 , σ 2 I n )Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2ion)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Supponiamo di eseguire una regressione della cresta, aggiungendo …

21 regression assumptions ridge-regression

1

La prova dei coefficienti di riduzione usando la regressione della cresta attraverso la "decomposizione spettrale"

Ho capito come la regressione della cresta restringe geometricamente i coefficienti verso zero. Inoltre so come dimostrarlo nello speciale "caso ortonormale", ma sono confuso su come funziona nel caso generale tramite "decomposizione spettrale".

20 regression multiple-regression regularization ridge-regression svd

2

Stima del R-quadrato e significatività statistica dal modello di regressione penalizzato

Sto usando il pacchetto R penalizzato per ottenere stime ridotte dei coefficienti per un set di dati in cui ho molti predittori e poca conoscenza di quali sono importanti. Dopo aver scelto i parametri di ottimizzazione L1 e L2 e sono soddisfatto dei miei coefficienti, esiste un modo statisticamente corretto …

20 regression lasso stepwise-regression ridge-regression

3

Relazione tra regressione della cresta e regressione della PCA

Ricordo di aver letto da qualche parte sul web una connessione tra regressione della cresta (con ℓ2ℓ2\ell_2 regolarizzazione) e regressione della PCA: durante l'utilizzo della regressione ℓ2ℓ2\ell_2 regolata con iperparametro λλ\lambda , se λ→0λ→0\lambda \to 0 , la regressione equivale alla rimozione della variabile PC con il più piccolo autovalore. …

19 regression pca regularization ridge-regression

Domande taggate «ridge-regression»