Programmazione gradient-descent

4

Pytorch, quali sono gli argomenti del gradiente

Sto leggendo la documentazione di PyTorch e ho trovato un esempio in cui scrivono gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) dove x era una variabile iniziale, da cui è stato costruito y (un 3-vettore). La domanda è: quali sono gli argomenti 0.1, 1.0 e 0.0001 del tensore dei gradienti? …

112 neural-network gradient pytorch torch gradient-descent

9

Perché i pesi delle reti neurali dovrebbero essere inizializzati su numeri casuali? [chiuso]

Chiuso. Questa domanda non soddisfa le linee guida di Stack Overflow . Attualmente non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per Stack Overflow. Chiuso 3 giorni fa . Migliora questa domanda Sto cercando di costruire una rete neurale da zero. In …

105 machine-learning neural-network artificial-intelligence mathematical-optimization gradient-descent

5

Cause comuni di nans durante l'allenamento

Ho notato che NANviene introdotto un evento frequente durante l'allenamento . Spesso sembra essere introdotto da pesi nel prodotto interno / completamente connesso o strati di convoluzione che esplodono. Questo accade perché il calcolo del gradiente sta esplodendo? O è a causa dell'inizializzazione del peso (in tal caso, perché l'inizializzazione …

86 machine-learning neural-network deep-learning caffe gradient-descent

1

R: implementando il mio algoritmo di aumento gradiente

Sto cercando di scrivere il mio algoritmo di aumento gradiente. Capisco che ci sono pacchetti esistenti come gbme xgboost,ma volevo capire come funziona l'algoritmo scrivendo il mio. Sto usando il irisset di dati e il mio risultato è Sepal.Length(continuo). La mia funzione di perdita è mean(1/2*(y-yhat)^2)(sostanzialmente l'errore quadratico medio con …

10 r machine-learning gradient-descent gbm boosting

Domande taggate «gradient-descent»