Statistiche e Big Data gradient-descent

5

Perché k-mean non fornisce il minimo globale?

Ho letto che l'algoritmo k-mean converge solo in un minimo locale e non in un minimo globale. Perchè è questo? Posso logicamente pensare a come l'inizializzazione possa influenzare il clustering finale e c'è una possibilità di clustering non ottimale, ma non ho trovato nulla che lo dimostrasse matematicamente. Inoltre, perché …

17 clustering k-means convergence gradient-descent minimum

2

Qual è la differenza tra stima della massima verosimiglianza e discesa del gradiente?

Quali sono i pro e i contro di entrambi i metodi?

16 maximum-likelihood predictive-models optimization gradient-descent

3

Qual è la differenza tra apprendimento online e batch?

Al momento ho letto l'articolo Efficient Online and Batch Learning usando Forward-Backward Splitting di John Duchi e Yoram Singer. Sono molto confuso sull'uso dei termini "Online" e "Batch". Ho pensato "Online" significa che aggiorniamo i parametri di peso dopo aver elaborato un'unità dei dati di allenamento. Quindi utilizziamo i nuovi …

16 machine-learning online gradient-descent

1

In che modo la discesa gradiente stocastica può far risparmiare tempo rispetto alla discesa gradiente standard?

Discesa gradiente standard calcolerebbe il gradiente per l'intero set di dati di allenamento. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Per un numero predefinito di epoche, prima calcoliamo il vettore gradiente weights_grad della funzione di perdita per l'intero set di dati …

15 machine-learning optimization gradient-descent computational-statistics sgd

1

Chiarimento sull'implementazione della Discendenza della regola di Perceptron rispetto alla discesa del gradiente rispetto alla discesa del gradiente stocastico

Ho sperimentato un po 'con diverse implementazioni di Perceptron e voglio assicurarmi di capire correttamente le "iterazioni". La regola originale del percettrone di Rosenblatt A quanto ho capito, nel classico algoritmo perceptron di Rosenblatt, i pesi vengono aggiornati simultaneamente dopo ogni esempio di allenamento tramite Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target …

15 optimization gradient-descent perceptron

1

Somma o media dei gradienti in (mini) gradiente batch decente?

Quando ho implementato il gradiente mini batch decente, ho appena calcolato la media dei gradienti di tutti gli esempi nel batch di training. Tuttavia, ho notato che ora il tasso di apprendimento ottimale è molto più elevato rispetto al gradiente online decente. La mia intuizione è che ciò è dovuto …

15 neural-networks gradient-descent backpropagation

1

In che modo la CNN evita il problema del gradiente evanescente

Ho letto molto sulle reti neurali convolutive e mi chiedevo come evitare il problema del gradiente in via di estinzione. So che le reti di credenze profonde impilano autocodificatori a livello singolo o altre reti poco profonde pre-addestrate e posso quindi evitare questo problema, ma non so come evitarlo nelle …

15 machine-learning optimization deep-learning gradient-descent

1

Perché non usiamo tassi di apprendimento non costanti per gradienti decenti per cose diverse dalle reti neurali?

La letteratura sull'apprendimento profondo è piena di trucchi intelligenti con l'uso di tassi di apprendimento non costanti nella discesa del gradiente. Cose come il decadimento esponenziale, RMSprop, Adagrad ecc. Sono facili da implementare e sono disponibili in ogni pacchetto di apprendimento profondo, ma sembrano essere inesistenti al di fuori delle …

14 machine-learning deep-learning optimization gradient-descent

4

Come può essere intrappolato in un punto di sella?

Al momento sono un po 'perplesso da come la discesa del gradiente mini-batch possa essere intrappolata in un punto di sella. La soluzione potrebbe essere troppo banale per non averla. Si ottiene un nuovo campione ad ogni epoca e calcola un nuovo errore basato su un nuovo batch, quindi la …

14 gradient-descent sgd

1

Funzioni di costo per banditi contestuali

Sto usando Vowpal Wabbit per risolvere un problema di bandito contestuale . Sto mostrando annunci agli utenti e ho un bel po 'di informazioni sul contesto in cui viene mostrato l'annuncio (ad es. Chi è l'utente, su quale sito si trova, ecc.). Questo sembra essere un problema di bandito contestuale …

14 multinomial gradient-descent multiarmed-bandit vowpal-wabbit contextual-bandit

2

Discesa gradiente vs funzione lm () in R?

Sto esaminando i video del corso di apprendimento automatico online di Andrew Ng a Stanford. Discute Gradient Descent come un algoritmo per risolvere la regressione lineare e scrivere funzioni in Octave per eseguirlo. Presumibilmente potrei riscrivere quelle funzioni in R, ma la mia domanda è: la funzione lm () non …

14 r regression machine-learning gradient-descent

5

Perché la discesa gradiente non è efficace per grandi serie di dati?

Supponiamo che il nostro set di dati contenga 1 milione di esempi, ovvero e desideriamo utilizzare la discesa gradiente per eseguire una regressione logistica o lineare su questi set di dati.X1, ... , x106x1,…,x106x_1, \ldots, x_{10^6} Cos'è con il metodo di discesa gradiente che lo rende inefficiente? Ricordiamo che il …

13 machine-learning gradient-descent large-data

1

Perché l'algoritmo di discesa "Saddle-Freeton Newton" non viene utilizzato nella pratica?

Di recente ho letto un articolo di Yann Dauphin et al. Identificazione e attacco del problema del punto di sella nell'ottimizzazione non convessa ad alta dimensione , in cui introducono un interessante algoritmo di discesa chiamato Saddle-Free Newton , che sembra essere esattamente su misura per l'ottimizzazione della rete neurale …

13 optimization deep-learning gradient-descent

1

Scelta delle dimensioni minibatch appropriate per la discesa gradiente stocastica (SGD)

C'è qualche letteratura che esamina la scelta della dimensione del minibatch quando si esegue la discesa gradiente stocastica? Nella mia esperienza, sembra essere una scelta empirica, di solito trovata attraverso la convalida incrociata o usando varie regole empiriche. È una buona idea aumentare lentamente le dimensioni del minibatch man mano …

13 machine-learning gradient-descent hyperparameter deep-learning

2

La discesa gradiente non trova soluzione ai minimi quadrati ordinari in questo set di dati?

Ho studiato la regressione lineare e l'ho provato sul set sottostante ((x, y)}, dove x ha specificato l'area della casa in piedi quadrati e y ha specificato il prezzo in dollari. Questo è il primo esempio in Andrew Ng Notes . 2104.400 1600.330 2400.369 1416.232 3000.540 Ho sviluppato un codice …

12 regression least-squares gradient-descent supervised-learning

Domande taggate «gradient-descent»