Statistiche e Big Data gradient-descent

2

In che modo la discesa del gradiente minibatch aggiorna i pesi per ciascun esempio in un batch?

Se elaboriamo diciamo 10 esempi in un batch, capisco che possiamo sommare la perdita per ogni esempio, ma come funziona la backpropagation per quanto riguarda l'aggiornamento dei pesi per ogni esempio? Per esempio: Esempio 1 -> perdita = 2 Esempio 2 -> perdita = -2 Ciò si traduce in una …

12 neural-networks gradient-descent backpropagation tensorflow

1

Gradiente per la funzione di perdita logistica

Farei una domanda relativa a questa . Ho trovato un esempio di scrittura della funzione di perdita personalizzata per xgboost qui : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <- getinfo(dtrain, "label") …

12 r machine-learning gradient-descent boosting loss-functions

2

È possibile valutare GLM in Python / scikit-learn usando le distribuzioni Poisson, Gamma o Tweedie come famiglia per la distribuzione degli errori?

Sto cercando di imparare alcuni Python e Sklearn, ma per il mio lavoro ho bisogno di eseguire regressioni che utilizzano distribuzioni di errori dalle famiglie Poisson, Gamma e soprattutto Tweedie. Non vedo nulla nella documentazione su di loro, ma si trovano in diverse parti della distribuzione R, quindi mi chiedevo …

12 generalized-linear-model python scikit-learn gradient-descent tweedie-distribution

2

Le reti residue sono correlate all'aumento gradiente?

Recentemente, abbiamo visto emergere la rete neurale residua, in cui ogni strato è costituito da un modulo computazionale e da una connessione di scelta rapida che preserva l'input allo strato come l'output del suo strato mostra: y i + 1 = c i + y i La rete consente di …

11 machine-learning neural-networks deep-learning gradient-descent residual-networks

1

R / mgcv: Perché i prodotti tensor te () e ti () producono superfici diverse?

Il mgcvpacchetto per Rha due funzioni per adattare le interazioni del prodotto tensore: te()e ti(). Comprendo la divisione di base del lavoro tra i due (adattamento di un'interazione non lineare rispetto alla scomposizione di questa interazione in effetti principali e un'interazione). Quello che non capisco è perché te(x1, x2)e ti(x1) …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

2

Come addestrare un SVM tramite backpropagation?

Mi chiedevo se fosse possibile addestrare un SVM (diciamo uno lineare, per semplificare le cose) usando la backpropagation? Attualmente, sono a un blocco stradale, perché posso solo pensare di scrivere l' output del classificatore come f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b))f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b)) f(\mathbf{x};\theta,b) = \text{sgn}(\theta\cdot\mathbf{x} - (b+1)) = \text{sgn}(g(\mathbf{x};\theta,b)) Pertanto, quando proviamo a calcolare il "passaggio …

11 machine-learning neural-networks svm gradient-descent backpropagation

4

Quando utilizzare la discesa gradiente rispetto a Monte Carlo come tecnica di ottimizzazione numerica

Quando un insieme di equazioni non può essere risolto analiticamente, allora possiamo usare un algoritmo di discesa gradiente. Ma sembra che ci sia anche il metodo di simulazione Monte Carlo che può essere usato per risolvere problemi che non hanno soluzioni analitiche. Come capire quando usare la discesa gradiente e …

11 monte-carlo gradient-descent

1

È possibile addestrare un modello di P (Y | X) mediante discesa gradiente stocastica da campioni non iid di P (X) e campioni iid di P (Y | X)?

Durante l'addestramento di un modello parametrico (ad es. Per massimizzare la probabilità) tramite la discesa stocastica del gradiente su alcuni set di dati, si presume comunemente che i campioni di allenamento siano estratti dalla distribuzione dei dati di allenamento. Quindi, se l'obiettivo è quello di modellare una distribuzione congiunta , …

10 machine-learning conditional-probability reinforcement-learning gradient-descent

4

Ottimizzazione della discesa gradiente

Sto cercando di comprendere l'ottimizzazione della discesa gradiente negli algoritmi ML (machine learning). Capisco che esiste una funzione di costo, in cui l'obiettivo è ridurre al minimo l'errore . In uno scenario in cui i pesi vengono ottimizzati per fornire l'errore minimo e vengono utilizzate derivate parziali, cambia sia che …

9 optimization gradient-descent

2

Perché i miei passi si riducono quando si utilizzano dimensioni di passo fisse in discesa con gradiente?

Supponiamo di fare un esempio di giocattolo su gradiente decente, riducendo al minimo una funzione quadratica , utilizzando la dimensione del gradino fissa . ( )XTA xXTUNXx^TAxα = 0,03α=0.03\alpha=0.03A = [ 10 , 2 ; 2 , 3 ]UN=[10,2;2,3]A=[10, 2; 2, 3] Se tracciamo la traccia di in ogni iterazione, …

9 r machine-learning optimization gradient-descent

1

Perché la discesa gradiente prossimale invece di semplici metodi a gradiente inferiore per il lazo?

Stavo pensando di risolvere Lasso tramite metodi di laurea alla vaniglia. Ma ho letto persone che suggeriscono di usare la discesa gradiente prossimale. Qualcuno può evidenziare perché per il Lazo si possono usare i metodi GD prossimali anziché i metodi secondari alla vaniglia?

9 machine-learning optimization lasso gradient-descent

1

In che modo l'aumento del gradiente è come la discesa del gradiente?

Sto leggendo l'utile voce di Wikipedia sull'aumento del gradiente ( https://en.wikipedia.org/wiki/Gradient_boosting ), e cerco di capire come / perché possiamo approssimare i residui con la fase di discesa più ripida (chiamata anche pseudo-gradiente ). Qualcuno può darmi l'intuizione su come la discesa più ripida è collegata / simile ai residui? …

9 self-study gradient-descent

2

Determinare la velocità di apprendimento ottimale per la discesa gradiente nella regressione lineare

Come si può determinare il tasso di apprendimento ottimale per la discesa gradiente? Sto pensando che potrei regolarlo automaticamente se la funzione di costo restituisce un valore maggiore rispetto alla precedente iterazione (l'algoritmo non converge), ma non sono davvero sicuro di quale nuovo valore dovrebbe prendere.

9 regression machine-learning gradient-descent

Domande taggate «gradient-descent»