Statistiche e Big Data deep-learning

3

In che modo il modello skip-gram di Word2Vec genera i vettori di output?

Sto riscontrando problemi nel comprendere il modello skip-gram dell'algoritmo Word2Vec. Nel bag-of-word continuo è facile vedere come le parole di contesto possano "adattarsi" alla rete neurale, dal momento che in pratica le si calcola in media dopo aver moltiplicato ciascuna delle rappresentazioni di codifica a caldo singolo con la matrice …

11 neural-networks deep-learning natural-language word2vec word-embeddings

2

Classificazione con dati parzialmente "sconosciuti"

Supponiamo che io voglia imparare un classificatore che accetta un vettore di numeri come input e fornisce un'etichetta di classe come output. I miei dati di allenamento consistono in un gran numero di coppie input-output. Tuttavia, quando vengo a provare alcuni nuovi dati, questi dati sono in genere solo parzialmente …

11 machine-learning classification neural-networks deep-learning

3

Modellazione matematica di reti neurali come modelli grafici

Sto lottando per stabilire la connessione matematica tra una rete neurale e un modello grafico. Nei modelli grafici l'idea è semplice: la distribuzione di probabilità fattorizza secondo le cricche nel grafico, con i potenziali che normalmente sono della famiglia esponenziale. Esiste un ragionamento equivalente per una rete neurale? Si può …

11 neural-networks markov-process graphical-model deep-learning deep-belief-networks

3

Qual è la relazione tra la teoria dei giochi e l'apprendimento per rinforzo?

Sono interessato a (Deep) Reinforcement Learning (RL) . Prima di immergermi in questo campo dovrei seguire un corso in Game Theory (GT) ? Come sono correlati GT e RL ?

11 deep-learning reinforcement-learning game-theory

2

Come sono collegati i filtri e le mappe di attivazione nelle reti neurali convoluzionali?

In che modo le mappe di attivazione di un determinato livello sono collegate ai filtri per quel livello? Non sto chiedendo come fare un'operazione convoluzionale tra il filtro e la mappa di attivazione, sto chiedendo del tipo di connettività che hanno questi due. Ad esempio, supponiamo che tu voglia fare …

11 machine-learning deep-learning conv-neural-network

1

Posso usare ReLU in autoencoder come funzione di attivazione?

Quando si implementa un autoencoder con rete neurale, la maggior parte delle persone utilizzerà sigmoid come funzione di attivazione. Possiamo usare ReLU invece? (Dato che ReLU non ha limiti sul limite superiore, ciò significa sostanzialmente che l'immagine in ingresso può avere pixel più grandi di 1, a differenza dei criteri …

11 machine-learning neural-networks deep-learning autoencoders

4

Perché non impariamo solo i parametri iper?

Stavo implementando un articolo piuttosto popolare " SPIEGAZIONE E CABLAGGIO DI ESEMPI AVVERSARI " e nel documento, forma una funzione oggettiva contraddittoria J '' (θ) = αJ (θ) + (1 - α) J '(θ). Tratta α come iperparametro. α può essere 0,1, 0,2, 0,3, ecc. Indipendentemente da questo documento specifico, …

11 machine-learning neural-networks deep-learning hyperparameter

1

Qual è la differenza tra VAE e backpropagation stocastica per i modelli Deep Generative?

Qual è la differenza tra Bayes variazionali a codifica automatica e Backpropagation stocastica per modelli generativi profondi ? L'inferenza in entrambi i metodi porta agli stessi risultati? Non sono a conoscenza di confronti espliciti tra i due metodi, nonostante entrambi i gruppi di autori si citino l'un l'altro.

10 deep-learning inference latent-variable variational-bayes sgd

1

Quale funzione di perdita dovrei usare per segnare un modello seq2seq RNN?

Sto lavorando al documento Cho 2014 che ha introdotto l'architettura encoder-decoder per la modellazione seq2seq. Nel documento, sembrano usare la probabilità dell'input dato input (o è la probabilità di log negativo) come funzione di perdita per un input di lunghezza M e output y di lunghezza N :XXxMMMyyyNNN P( y1, …

10 deep-learning loss-functions rnn

4

differenza tra rete neurale e apprendimento profondo

In termini di differenza tra la rete neurale e il deep learning, possiamo elencare diversi elementi, come sono inclusi più livelli, un set di dati di massa, un potente hardware per rendere possibile l'addestramento di modelli complicati. Oltre a questi, ci sono spiegazioni più dettagliate riguardo alla differenza tra NN …

10 machine-learning neural-networks deep-learning conv-neural-network deep-belief-networks

1

Relazione tra tasso di apprendimento e numero di livelli nascosti?

Esiste una regola empirica tra la profondità di una rete neurale e il tasso di apprendimento? Ho notato che più profonda è la rete, più basso deve essere il tasso di apprendimento. Se è corretto, perché?

10 neural-networks deep-learning hyperparameter rule-of-thumb

3

È possibile formare una rete neurale per disegnare un'immagine in un certo stile?

È possibile formare una rete neurale per disegnare un'immagine in un certo stile? (Quindi prende un'immagine e la ridisegna in uno stile per cui è stata addestrata.) Esiste una tecnologia approvata per questo genere di cose? Conosco l'algoritmo DeepArt. È utile riempire l'immagine principale con un certo motivo (ad esempio …

10 machine-learning neural-networks deep-learning

1

Ritaglio gradiente durante l'allenamento di reti neurali profonde

Quando si vorrebbe eseguire il clipping gradiente durante l'allenamento di un RNN o CNN? Sono particolarmente interessato a quest'ultimo. Quale sarebbe un buon valore iniziale per il clipping? (ovviamente può essere sintonizzato)

10 deep-learning

1

Come determinare il numero di operatori convoluzionali nella CNN?

Nell'attività di visione artificiale, come la classificazione degli oggetti, con Convolutional Neural Networks (CNN), la rete offre prestazioni interessanti. Ma non sono sicuro di come impostare i parametri in strati convoluzionali. Ad esempio, un'immagine in scala di grigi ( 480x480), il primo livello convoluzionale può usare un operatore convoluzionale come …

10 neural-networks deep-learning conv-neural-network computer-vision

2

WaveNet non è davvero una convoluzione dilatata, vero?

Nel recente documento WaveNet , gli autori fanno riferimento al loro modello come se avessero strati sovrapposti di convoluzioni dilatate. Producono anche i seguenti grafici, che spiegano la differenza tra convoluzioni 'regolari' e convoluzioni dilatate. Le convoluzioni regolari sembrano Questa è una convoluzione con una dimensione del filtro di 2 …

10 neural-networks deep-learning conv-neural-network tensorflow

Domande taggate «deep-learning»