Statistiche e Big Data neural-networks

4

Mentre approfondiamo la letteratura sulle reti neurali , possiamo identificare altri metodi con topologie neuromorfe (architetture simili a "reti neurali"). E non sto parlando del teorema di approssimazione universale . Di seguito sono riportati degli esempi. Quindi, mi chiedo: qual è la definizione di una rete neurale artificiale? La sua …

15 machine-learning neural-networks deep-learning unsupervised-learning supervised-learning

2

Reti neurali vs tutto il resto

Non ho trovato una risposta soddisfacente a questo da Google . Naturalmente se i dati che ho sono dell'ordine di milioni, l'apprendimento profondo è la strada. E ho letto che quando non ho i big data allora forse è meglio usare altri metodi nell'apprendimento automatico. Il motivo indicato è eccessivo. …

15 regression machine-learning classification neural-networks deep-learning

2

Perché questa previsione delle serie storiche è "piuttosto scadente"?

Sto cercando di imparare come usare le reti neurali. Stavo leggendo questo tutorial . Dopo aver inserito una Rete Neurale su una serie temporale utilizzando il valore in per prevedere il valore in l'autore ottiene il seguente grafico, dove la linea blu è la serie storica, il verde è la …

15 time-series neural-networks predictive-models deep-learning prediction

3

Numero minimo di strati in una rete neurale profonda

A che punto iniziamo a classificare le reti neurali a più strati come reti neurali profonde o per dirlo in un altro modo "Qual è il numero minimo di strati in una rete neurale profonda?"

15 machine-learning neural-networks deep-learning terminology

1

Somma o media dei gradienti in (mini) gradiente batch decente?

Quando ho implementato il gradiente mini batch decente, ho appena calcolato la media dei gradienti di tutti gli esempi nel batch di training. Tuttavia, ho notato che ora il tasso di apprendimento ottimale è molto più elevato rispetto al gradiente online decente. La mia intuizione è che ciò è dovuto …

15 neural-networks gradient-descent backpropagation

1

Perché una sola ReLU non può imparare una ReLU?

Come follow-up della mia rete neurale non riesco nemmeno a imparare la distanza euclidea, ho semplificato ancora di più e ho cercato di addestrare una singola ReLU (con peso casuale) su una singola ReLU. Questa è la rete più semplice che ci sia, eppure la metà delle volte non riesce …

15 machine-learning neural-networks optimization keras

2

Come vengono aggiornati i pesi nel metodo di apprendimento batch nelle reti neurali?

Qualcuno può dirmi come dovrei costruire una rete neurale usando il metodo batch? Ho letto che, in modalità batch, per tutti i campioni nel set di allenamento, calcoliamo i pesi di errore, delta e quindi delta per ciascun neurone nella rete e quindi invece di aggiornare immediatamente i pesi, li …

15 machine-learning neural-networks

1

Qual è il derivato della funzione di attivazione ReLU?

Qual è la derivata della funzione di attivazione ReLU definita come: R e L U ( x ) = m a x ( 0 , x )ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Che dire del caso speciale in cui vi è una discontinuità nella funzione in ?x = 0x=0x=0

15 self-study neural-networks

6

Perché dovremmo mescolare i dati durante l'allenamento di una rete neurale?

Nell'allenamento mini-batch di una rete neurale, ho sentito che un'importante pratica è quella di mescolare i dati di allenamento prima di ogni epoca. Qualcuno può spiegare perché il mescolamento ad ogni epoca aiuta? Dalla ricerca su Google, ho trovato le seguenti risposte: aiuta l'addestramento a convergere velocemente impedisce qualsiasi pregiudizio …

15 neural-networks

1

Perché è importante includere un termine di correzione della distorsione per l'ottimizzatore Adam per Deep Learning?

Stavo leggendo dell'ottimizzatore Adam per Deep Learning e mi sono imbattuto nella frase seguente nel nuovo libro Deep Learning di Begnio, Goodfellow e Courtville: Adam include correzioni di bias alle stime sia dei momenti del primo ordine (il termine momentum) sia dei momenti (non centrati) del secondo ordine per tenere …

15 machine-learning neural-networks optimization conv-neural-network adam

1

La maledizione della dimensionalità influenza alcuni modelli più di altri?

I luoghi che ho letto sulla maledizione della dimensionalità lo spiegano congiuntamente a kNN e ai modelli lineari in generale. Vedo regolarmente i migliori ranghi di Kaggle usando migliaia di funzionalità nel set di dati che difficilmente ha 100.000 punti dati. Usano principalmente alberi potenziati e NN, tra gli altri. …

15 neural-networks svm k-means k-nearest-neighbour high-dimensional

1

Cosa ci dice la dimensione VC del deep learning?

Nell'apprendimento automatico di base ci vengono insegnate le seguenti "regole pratiche": a) la dimensione dei tuoi dati dovrebbe essere almeno 10 volte la dimensione della dimensione VC del tuo set di ipotesi. b) una rete neurale con connessioni N ha una dimensione VC di circa N. Quindi, quando una rete …

15 machine-learning neural-networks deep-learning vc-dimension

2

È pratica comune ridurre al minimo la perdita media sui lotti anziché sulla somma?

Tensorflow ha un tutorial di esempio sulla classificazione di CIFAR-10 . Nell'esercitazione viene minimizzata la perdita media di entropia trasversale nel lotto. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: Labels from distorted_inputs or inputs(). …

15 neural-networks loss-functions tensorflow

2

Ci sono ragioni matematiche per la convoluzione nelle reti neurali oltre l'opportunità?

Nelle reti neurali convoluzionali (CNN) la matrice di pesi ad ogni passo viene capovolta per ottenere righe e colonne per ottenere la matrice del kernel, prima di procedere con la convoluzione. Questo è spiegato in una serie di video di Hugo Larochelle qui : Il calcolo delle mappe nascoste corrisponderebbe …

14 machine-learning neural-networks conv-neural-network convolution

3

Perché indietro propagarsi nel tempo in un RNN?

In una rete neurale ricorrente, di solito si inoltra la propagazione attraverso diversi passaggi temporali, "si srotolano" la rete e quindi si propagano indietro attraverso la sequenza di input. Perché non dovresti semplicemente aggiornare i pesi dopo ogni singolo passaggio della sequenza? (l'equivalente dell'uso di una lunghezza di troncamento di …

14 time-series neural-networks backpropagation rnn

Domande taggate «neural-networks»