Statistiche e Big Data gradient-descent

8

Perché il metodo di Newton non è ampiamente utilizzato nell'apprendimento automatico?

Questo è qualcosa che mi ha infastidito per un po 'e non ho trovato risposte soddisfacenti online, quindi ecco qui: Dopo aver esaminato una serie di lezioni sull'ottimizzazione convessa, il metodo di Newton sembra essere un algoritmo di gran lunga superiore alla discesa del gradiente per trovare soluzioni ottimali a …

132 machine-learning optimization gradient-descent hessian

3

Discesa discendente in pendenza rispetto alla discesa gradiente stocastica

Supponiamo di avere un set di addestramento per . Supponiamo inoltre di eseguire un qualche tipo di algoritmo di apprendimento supervisionato sul set di addestramento. Le ipotesi sono rappresentate come . Dobbiamo trovare i parametri che minimizzano la "distanza" tra e . Sia(x(i),y(i))(x(i),y(i))(x_{(i)}, y_{(i)})i=1,…,mi=1,…,mi = 1, \dots, mhθ(x(i))=θ0+θ1x(i)1+⋯+θnx(i)nhθ(x(i))=θ0+θ1x(i)1+⋯+θnx(i)nh_{\theta}(x_{(i)}) = \theta_0+\theta_{1}x_{(i)1} …

101 optimization gradient-descent sgd

6

Perché usare la discesa gradiente per la regressione lineare, quando è disponibile una soluzione matematica a forma chiusa?

Sto seguendo i corsi di Machine Learning online e ho appreso la Discesa del gradiente per il calcolo dei valori ottimali nell'ipotesi. h(x) = B0 + B1X perché dobbiamo usare la pendenza del gradiente se riusciamo a trovare facilmente i valori con la formula seguente? Questo sembra semplice e anche …

74 regression machine-learning gradient-descent

2

Risoluzione dei parametri di regressione in discesa a forma chiusa vs gradiente

Nel corso di machine learning di Andrew Ng , introduce la regressione lineare e la regressione logistica e mostra come adattare i parametri del modello usando la discesa del gradiente e il metodo di Newton. So che la discesa gradiente può essere utile in alcune applicazioni dell'apprendimento automatico (ad esempio, …

71 regression machine-learning logistic gradient-descent

3

Perché i ricercatori delle reti neurali si preoccupano delle epoche?

Un'epoca nella discesa del gradiente stocastico è definita come un singolo passaggio attraverso i dati. Per ogni minibatch SGD, vengono estratti campioni, il gradiente calcolato e i parametri aggiornati. Nell'impostazione dell'epoca, i campioni vengono disegnati senza sostituzione.kkk Ma questo sembra inutile. Perché non disegnare ogni minibatch SGD mentre disegna casualmente …

69 neural-networks deep-learning gradient-descent

7

Ottimizzazione quando la funzione di costo è lenta da valutare

La discesa gradiente e molti altri metodi sono utili per trovare minimi locali nelle funzioni di costo. Possono essere efficienti quando la funzione di costo può essere valutata rapidamente in ogni punto, sia numericamente che analiticamente. Ho quella che mi sembra una situazione insolita. Ogni valutazione della mia funzione di …

59 gradient-descent optimization bayesian-optimization

6

Ottimizzatore Adam con decadimento esponenziale

Nella maggior parte del codice Tensorflow ho visto Adam Optimizer utilizzato con un tasso di apprendimento costante di 1e-4(cioè 0,0001). Il codice di solito ha il seguente aspetto: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the …

53 neural-networks deep-learning gradient-descent tensorflow adam

1

Quanto dovrebbe essere grande la dimensione del lotto per la discesa gradiente stocastica?

Comprendo che la discesa gradiente stocastica può essere utilizzata per ottimizzare una rete neurale mediante backpropagation aggiornando ogni iterazione con un diverso campione del set di dati di training. Quanto dovrebbe essere grande la dimensione del lotto?

49 machine-learning neural-networks gradient-descent backpropagation

4

Qual è la differenza tra la discesa gradiente basata sul momento e la discesa gradiente accelerata di Nesterov?

Quindi la discesa gradiente basata sul momento funziona come segue: v = s e l f. m o m e n t u m ∗ m - l r ∗ gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g dove è il precedente aggiornamento del peso e è il gradiente corrente rispetto ai parametri , è la velocità …

48 optimization gradient-descent

1

Differenza tra GradientDescentOptimizer e AdamOptimizer (TensorFlow)?

Ho scritto un semplice MLP in TensorFlow che sta modellando un XOR-Gate . Quindi per: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] dovrebbe produrre quanto segue: output_data = [[0.], [1.], [1.], [0.]] La rete ha uno strato di input, uno nascosto e uno di output con 2, …

45 machine-learning neural-networks error gradient-descent supervised-learning

1

Come funziona il metodo Adamo di discesa gradiente stocastica?

Ho familiarità con gli algoritmi di base per la discesa del gradiente per l'addestramento delle reti neurali. Ho letto l'articolo che propone Adam: ADAM: UN METODO PER L'OTTIMIZZAZIONE STOCASTICA . Anche se ho sicuramente avuto alcune intuizioni (almeno), il documento sembra essere di livello troppo alto per me nel complesso. …

45 neural-networks optimization gradient-descent adam

1

Reti neurali: momento di variazione del peso e decadimento del peso

Lo slancio viene utilizzato per ridurre le fluttuazioni delle variazioni di peso su iterazioni consecutive:αα\alpha Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t), dove è la funzione di errore, - il vettore dei pesi, - tasso di apprendimento.E(w)E(w)E({\bf w})ww{\bf w}ηη\eta La riduzione del peso penalizza le variazioni di …

41 neural-networks optimization regularization gradient-descent

4

In che modo la funzione di attivazione rettilinea risolve il problema del gradiente evanescente nelle reti neurali?

Ho trovato l'unità lineare rettificata (ReLU) elogiata in diversi punti come soluzione al problema del gradiente di fuga per le reti neurali. Cioè, si usa max (0, x) come funzione di attivazione. Quando l'attivazione è positiva, è ovvio che è meglio, per esempio, della funzione di attivazione sigmoidea, poiché la …

40 machine-learning neural-networks deep-learning gradient-descent

2

Chi ha inventato la discesa gradiente stocastica?

Sto cercando di capire la storia della discesa del gradiente e della discesa del gradiente stocastico . La discesa a gradiente fu inventata a Cauchy nel 1847. Metodologia generale per la risoluzione dei sistemi simultanei . pp. 536–538 Per ulteriori informazioni a riguardo vedere qui . Da allora i metodi …

36 references gradient-descent history sgd

2

Abbiamo bisogno della discesa del gradiente per trovare i coefficienti di un modello di regressione lineare?

Stavo cercando di imparare l'apprendimento automatico usando il materiale Coursera . In questa lezione, Andrew Ng utilizza l'algoritmo di discesa gradiente per trovare i coefficienti del modello di regressione lineare che minimizzerà la funzione di errore (funzione di costo). Per la regressione lineare, abbiamo bisogno di una discesa gradiente? Sembra …

31 regression machine-learning linear-model gradient-descent

Domande taggate «gradient-descent»