Statistiche e Big Data deep-learning

1

Cosa ci dice la dimensione VC del deep learning?

Nell'apprendimento automatico di base ci vengono insegnate le seguenti "regole pratiche": a) la dimensione dei tuoi dati dovrebbe essere almeno 10 volte la dimensione della dimensione VC del tuo set di ipotesi. b) una rete neurale con connessioni N ha una dimensione VC di circa N. Quindi, quando una rete …

15 machine-learning neural-networks deep-learning vc-dimension

1

Qual è la "capacità" di un modello di apprendimento automatico?

Sto studiando questo tutorial su Autoencoder variabili di Carl Doersch . Nella seconda pagina si afferma: Uno dei framework più popolari è l'Autocodificatore Variazionale [1, 3], oggetto di questo tutorial. I presupposti di questo modello sono deboli e l'allenamento è rapido tramite backpropagation. I VAE fanno un'approssimazione, ma l'errore introdotto …

15 machine-learning deep-learning autoencoders variational-bayes

1

Perché non usiamo tassi di apprendimento non costanti per gradienti decenti per cose diverse dalle reti neurali?

La letteratura sull'apprendimento profondo è piena di trucchi intelligenti con l'uso di tassi di apprendimento non costanti nella discesa del gradiente. Cose come il decadimento esponenziale, RMSprop, Adagrad ecc. Sono facili da implementare e sono disponibili in ogni pacchetto di apprendimento profondo, ma sembrano essere inesistenti al di fuori delle …

14 machine-learning deep-learning optimization gradient-descent

3

Reti neurali profonde - Solo per la classificazione delle immagini?

Tutti gli esempi che ho trovato usando convinzioni profonde o reti neurali convoluzionali li usano per la classificazione delle immagini, il rilevamento dei chatacter o il riconoscimento vocale. Le reti neurali profonde sono utili anche per le attività di regressione classica, in cui le caratteristiche non sono strutturate (ad esempio, …

14 regression machine-learning neural-networks deep-learning

1

C'è qualche differenza tra l'addestramento di un codificatore automatico in pila e una rete neurale a 2 strati?

Diciamo che sto scrivendo un algoritmo per la creazione di un codificatore automatico sovrapposto a 2 strati e di una rete neurale a 2 strati. Sono le stesse cose o le stesse differenze? Quello che capisco è che quando costruisco un codificatore automatico in pila, costruisco strato per strato. Per …

14 neural-networks deep-learning autoencoders

4

Di quanti dati hai bisogno per una rete neurale convoluzionale?

Se ho una rete neurale convoluzionale (CNN), che ha circa 1.000.000 di parametri, quanti dati di addestramento sono necessari (supponiamo che stia facendo una pendenza stocastica)? C'è qualche regola empirica? Note aggiuntive: quando ho eseguito la discesa gradiente stocastica (ad es. 64 patch per 1 iterazione), dopo ~ 10000 iterazioni, …

14 machine-learning neural-networks deep-learning conv-neural-network

2

Come viene implementato il dropout spaziale in 2D?

Questo è con riferimento al documento Localizzazione efficiente degli oggetti utilizzando reti convoluzionali e da quello che ho capito il dropout è implementato in 2D. Dopo aver letto il codice di Keras su come viene implementato il Dropout 2D spaziale, in pratica viene implementata una maschera binaria casuale di forma …

14 machine-learning deep-learning tensorflow dropout

3

Perché le reti neurali necessitano di selezione / ingegneria delle caratteristiche?

Soprattutto nel contesto delle competizioni kaggle ho notato che le prestazioni del modello riguardano la selezione / ingegneria delle caratteristiche. Sebbene io possa comprendere appieno il motivo per cui si tratta degli algoritmi ML più convenzionali / di vecchia scuola, non vedo perché ciò avvenga quando si utilizzano reti neurali …

14 neural-networks deep-learning feature-selection feature-engineering

2

Come viene addestrato il livello di incorporamento nel livello Incorporamento di Keras

Come viene addestrato il livello di incorporamento nel livello Incorporamento di Keras? (ad esempio usando tensorflow backend, il che significa che è simile a word2vec, glove o fasttext) Supponiamo di non utilizzare un incorporamento predefinito.

14 deep-learning keras word-embeddings

2

Che cos'è il deep learning bayesiano?

Che cos'è il deep learning bayesiano e in che modo si collega alle statistiche bayesiane tradizionali e al deep learning tradizionale? Quali sono i concetti e la matematica principali coinvolti? Potrei dire che sono solo statistiche bayesiane non parametriche? Quali sono le sue opere fondamentali, nonché i suoi attuali sviluppi …

13 bayesian deep-learning

1

Perché l'apprendimento del rinforzo profondo è instabile?

Nel documento di DeepMind del 2015 sull'apprendimento approfondito del rinforzo, si afferma che "I precedenti tentativi di combinare RL con le reti neurali erano in gran parte falliti a causa dell'apprendimento instabile". Il documento elenca quindi alcune cause di ciò, in base alle correlazioni tra le osservazioni. Per favore qualcuno …

13 machine-learning neural-networks deep-learning reinforcement-learning

2

Perché le reti neurali sono facilmente ingannabili?

Ho letto alcuni articoli sull'immaginazione manuale di immagini per "ingannare" una rete neurale (vedi sotto). Questo perché le reti modellano solo la probabilità condizionale ? Se una rete può modellare la probabilità congiunta p ( y , x ) , si verificheranno comunque casi del genere?p(y|x)p(y|x)p(y|x)p(y,x)p(y,x)p(y,x) La mia ipotesi è …

13 machine-learning neural-networks deep-learning

1

Cosa significa "end to end" nei metodi di apprendimento profondo?

Voglio sapere di cosa si tratta e in che modo differisce dall'insieme? Supponiamo che io voglia ottenere un'elevata precisione nella classificazione e nella segmentazione, per un compito specifico, se per raggiungere questo scopo utilizzo reti diverse, come CNN, RNN, ecc., Si chiama modello end-to-end? (architettura?) o no?

13 machine-learning terminology deep-learning

1

Quali sono alcune utili tecniche di aumento dei dati per reti neurali convoluzionali profonde?

Sfondo: Di recente ho compreso a un livello più profondo l'importanza dell'aumento dei dati durante l'addestramento di reti neurali convoluzionali dopo aver visto questo eccellente discorso di Geoffrey Hinton . Spiega che le reti neurali convoluzionali della generazione attuale non sono in grado di generalizzare il quadro di riferimento dell'oggetto …

13 machine-learning deep-learning

1

Prevenire l'overfitting di LSTM su piccoli set di dati

Sto modellando 15000 tweet per la previsione del sentimento usando un LSTM a singolo strato con 128 unità nascoste usando una rappresentazione simile a word2vec con 80 dimensioni. Ottengo una precisione di discesa (38% con casuale = 20%) dopo 1 epoca. Un ulteriore addestramento fa declinare l'accuratezza della convalida man …

13 deep-learning regularization overfitting lstm

Domande taggate «deep-learning»