Domande taggate «regularization»

Inclusione di ulteriori vincoli (in genere una penalità per la complessità) nel processo di adattamento del modello. Utilizzato per prevenire un eccesso di adattamento / migliorare la precisione predittiva.

LARS vs discesa delle coordinate per il lazo

Quali sono i pro e i contro dell'utilizzo di LARS [1] rispetto all'utilizzo della discesa delle coordinate per l'adattamento della regressione lineare regolarizzata L1? Sono principalmente interessato agli aspetti prestazionali (i miei problemi tendono ad avere Ntra le centinaia di migliaia e p<20). Tuttavia, anche altre intuizioni sarebbero apprezzate. modifica: …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

Perché usare il lazo di gruppo anziché il lazo?

Ho letto che il lazo di gruppo viene utilizzato per la selezione delle variabili e la scarsità in un gruppo di variabili. Voglio conoscere l'intuizione dietro questa affermazione. Perché il lazo di gruppo è preferito al lazo? Perché il percorso della soluzione lazo di gruppo non è lineare a tratti?

13 regression feature-selection lasso regularization

Nessun termine di regolarizzazione per unità di polarizzazione nella rete neurale

Secondo questo tutorial sull'apprendimento profondo , la riduzione del peso (regolarizzazione) di solito non viene applicata ai termini di errore b perché? Qual è il significato (intuizione) dietro di esso?

13 machine-learning neural-networks bias regularization

Percorsi dei coefficienti: confronto tra cresta, lazo e regressione della rete elastica

Vorrei confrontare i modelli selezionati con la cresta, il lazo e la rete elastica. La Fig. Sotto mostra i percorsi dei coefficienti usando tutti e 3 i metodi: cresta (Fig A, alfa = 0), lazo (Fig B; alfa = 1) e rete elastica (Fig C; alfa = 0,5). La soluzione …

13 r multiple-regression modeling regularization

Quando LASSO seleziona predittori correlati?

Sto usando il pacchetto 'lars' in R con il seguente codice: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + …

13 correlation feature-selection lasso regularization ridge-regression

Cosa sono le regolarità e la regolarizzazione?

Sento sempre più queste parole mentre studio l'apprendimento automatico. In effetti, alcune persone hanno vinto la medaglia Fields lavorando su regolarità di equazioni. Quindi, immagino che questo sia un termine che va dalla fisica statistica / matematica all'apprendimento automatico. Naturalmente, un certo numero di persone a cui ho chiesto non …

12 machine-learning self-study terminology regularization definition

Algoritmo dei minimi quadrati regolarizzati ricorsivi (online)

Qualcuno può indicarmi la direzione di un algoritmo online (ricorsivo) per la regolarizzazione di Tikhonov (minimi quadrati regolarizzati)? In un'impostazione offline, calcolerei usando il mio set di dati originale dove λ si trova usando la convalida incrociata n-fold. È possibile prevedere un nuovo valore y per un dato x usando …

12 regression machine-learning least-squares regularization online

GLM dopo la selezione o la regolarizzazione del modello

Vorrei porre questa domanda in due parti. Entrambi trattano un modello lineare generalizzato, ma il primo riguarda la selezione del modello e l'altro riguarda la regolarizzazione. Contesto: utilizzo modelli GLM (lineari, logistici, regressione gamma) sia per la previsione che per la descrizione. Quando mi riferisco alle " cose normali che …

12 regression model-selection regularization

Discesa coordinata per il lazo o la rete elastica

Esistono buoni documenti o libri che trattano l'uso della discesa coordinata per L1 (lazo) e / o regolarizzazione della rete elastica per problemi di regressione lineare?

12 regression references lasso regularization elastic-net

Cosa rende instabile il lazo per la selezione delle caratteristiche?

Nel rilevamento compresso, c'è una garanzia teorema che ha una soluzione sparsa unica c (Vedi appendice per maggiori dettagli).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Esiste un teorema simile per il lazo? Se esiste un tale teorema, non solo garantirà la stabilità …

12 regression self-study feature-selection lasso regularization

Comprensione della regressione della cresta negativa

Sto cercando letteratura sulla regressione della cresta negativa . In breve, si tratta di una generalizzazione della regressione della cresta lineare usando negativo nella formula dello stimatore:Il caso positivo ha una buona teoria: come una funzione di perdita, come un vincolo, come un precedente di Bayes ... ma mi sento …

12 regression regularization ridge-regression

Che cos'è il vincolo maxnorm? In che modo è utile nelle reti neurali convoluzionali?

Ecco un esempio di codice keras che lo utilizza: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks regularization conv-neural-network optimization

Qual è la connessione tra regolarizzazione e metodo dei moltiplicatori di lagrange?

Per evitare il sovradimensionamento delle persone, le persone aggiungono un termine di regolarizzazione (proporzionale alla somma quadrata dei parametri del modello) con un parametro di regolarizzazione alla funzione di costo della regressione lineare. Questo parametro lo stesso di un moltiplicatore di lagrange? Quindi la regolarizzazione è la stessa del metodo …

12 regression optimization regularization

Norme Ridge e LASSO

Questo post segue questo: perché la stima della cresta diventa migliore di OLS aggiungendo una costante alla diagonale? Ecco la mia domanda: Per quanto ne so, la regolarizzazione della cresta usa un -norm (distanza euclidea). Ma perché usiamo il quadrato di questa norma? (un'applicazione diretta di risulterebbe con la radice …

12 lasso regularization ridge-regression

Cosa sono le norme e in che modo sono rilevanti per la regolarizzazione?

Ultimamente ho visto molti articoli su rappresentazioni sparse e la maggior parte di loro usa la norma e minimizza. La mia domanda è: qual è la norma e la norma mista ? E come sono rilevanti per la regolarizzazione?ℓpℓp\ell_pℓpℓp\ell_pℓp,qℓp,q\ell_{p, q} Grazie

12 machine-learning regularization sparse

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.