Statistiche e Big Data tensorflow

6

Ottimizzatore Adam con decadimento esponenziale

Nella maggior parte del codice Tensorflow ho visto Adam Optimizer utilizzato con un tasso di apprendimento costante di 1e-4(cioè 0,0001). Il codice di solito ha il seguente aspetto: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the …

53 neural-networks deep-learning gradient-descent tensorflow adam

1

In cosa differisce softmax_cross_entropy_with_logits da softmax_cross_entropy_with_logits_v2?

In particolare, suppongo di chiedermi questa affermazione: Le versioni principali future di TensorFlow consentiranno ai gradienti di fluire nelle etichette immesse sul backprop per impostazione predefinita. Che è mostrato quando uso tf.nn.softmax_cross_entropy_with_logits. Nello stesso messaggio mi spinge a dare un'occhiata tf.nn.softmax_cross_entropy_with_logits_v2. Ho consultato la documentazione ma afferma solo che per …

41 machine-learning supervised-learning tensorflow backpropagation

3

Apprendimento automatico: dovrei usare un'entropia incrociata categorica o una perdita binaria di entropia incrociata per le previsioni binarie?

Prima di tutto, mi sono reso conto che se devo eseguire previsioni binarie, devo creare almeno due classi eseguendo una codifica a caldo. È corretto? Tuttavia, l'entropia incrociata binaria è solo per le previsioni con una sola classe? Se dovessi usare una categorica perdita di entropia che si trova in …

36 machine-learning neural-networks loss-functions tensorflow cross-entropy

1

Architetture della CNN per regressione?

Ho lavorato su un problema di regressione in cui l'input è un'immagine e l'etichetta ha un valore continuo tra 80 e 350. Le immagini sono di alcuni prodotti chimici dopo una reazione. Il colore che risulta indica la concentrazione di un'altra sostanza chimica rimasta, ed è quello che il modello …

32 regression machine-learning neural-networks conv-neural-network tensorflow

5

Comprensione delle unità LSTM rispetto alle celle

Ho studiato LSTM per un po '. Capisco ad alto livello come funziona tutto. Tuttavia, andando a implementarli usando Tensorflow, ho notato che BasicLSTMCell richiede un numero di unità (es. num_units) Parametro. Da questa spiegazione molto approfondita degli LSTM, ho scoperto che una singola unità LSTM è una delle seguenti …

32 neural-networks terminology lstm rnn tensorflow

3

Costruire un autoencoder a Tensorflow per superare la PCA

Hinton e Salakhutdinov nel ridurre la dimensionalità dei dati con le reti neurali, Science 2006 ha proposto un PCA non lineare attraverso l'uso di un autoencoder profondo. Ho provato a costruire e addestrare un autoencoder PCA con Tensorflow diverse volte, ma non sono mai stato in grado di ottenere risultati …

31 pca python deep-learning tensorflow autoencoders

1

Esempio dettagliato di differenziazione automatica in modalità inversa

Non sono sicuro che questa domanda appartenga qui, ma è strettamente correlata ai metodi di gradiente nell'ottimizzazione, che qui sembra essere in argomento. Ad ogni modo, sentiti libero di migrare se ritieni che un'altra comunità abbia una migliore esperienza in materia. In breve, sto cercando un esempio dettagliato della differenziazione …

27 optimization derivative tensorflow automatic-differentiation

2

come ponderare la perdita di KLD rispetto alla perdita di ricostruzione nell'encoder automatico variazionale

in quasi tutti gli esempi di codice che ho visto di un VAE, le funzioni di perdita sono definite come segue (questo è il codice tensorflow, ma ho visto simili per theano, torcia ecc. È anche per una convnet, ma anche questo non è troppo rilevante , influisce solo sugli …

26 machine-learning deep-learning tensorflow autoencoders variational-bayes

1

Come si interpretano gli istogrammi dati da TensorFlow in TensorBoard?

Recentemente stavo correndo e imparando il flusso del tensore e ho ottenuto alcuni istogrammi che non sapevo interpretare. Di solito penso all'altezza delle barre come alla frequenza (o frequenza / conteggi relativi). Tuttavia, il fatto che non ci siano barre come in un normale istogramma e il fatto che le …

23 machine-learning neural-networks conv-neural-network tensorflow

3

Relu vs Sigmoid vs Softmax come neuroni a strati nascosti

Stavo giocando con una semplice rete neurale con un solo livello nascosto, di Tensorflow, e poi ho provato diverse attivazioni per il livello nascosto: Relu sigmoid Softmax (beh, di solito softmax è usato nell'ultimo strato ..) Relu offre la migliore precisione e accuratezza di convalida del treno. Non sono sicuro …

22 machine-learning neural-networks conv-neural-network tensorflow sigmoid-curve

1

Funzione di perdita per i codificatori automatici

Sto sperimentando un po 'di codificatori automatici e con tensorflow ho creato un modello che tenta di ricostruire il set di dati MNIST. La mia rete è molto semplice: X, e1, e2, d1, Y, dove e1 ed e2 sono livelli di codifica, d2 e Y sono livelli di decodifica (e …

21 mse autoencoders tensorflow cross-entropy

2

Qual è la differenza tra l'inizializzatore di ridimensionamento della varianza e l'inizializzatore di xavier?

Nell'implementazione di ResNet di Tensorflow , trovo che utilizzino l'inizializzatore di ridimensionamento della varianza, trovo anche che l'inizializzatore di xavier sia popolare. Non ho troppa esperienza su questo, che è meglio in pratica?

20 machine-learning neural-networks deep-learning conv-neural-network tensorflow

5

Apprendimento profondo: come faccio a sapere quali variabili sono importanti?

In termini di gergo della rete neurale (y = Peso * x + bias) come faccio a sapere quali variabili sono più importanti di altre? Ho una rete neurale con 10 input, 1 layer nascosto con 20 nodi e 1 layer di output con 1 nodo. Non sono sicuro di …

20 machine-learning neural-networks bias tensorflow theano

3

Differenza tra campioni, fasi temporali e caratteristiche nella rete neurale

Sto esaminando il seguente blog sulla rete neurale LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ L'autore rimodella il vettore di input X come [campioni, intervalli di tempo, funzionalità] per diverse configurazioni di LSTM. L'autore scrive In effetti, le sequenze di lettere sono fasi temporali di una funzione anziché una fase temporale di funzioni separate. Abbiamo …

17 neural-networks lstm rnn tensorflow tensor

4

È possibile fornire immagini di dimensioni variabili come input per una rete neurale convoluzionale?

Possiamo fornire immagini di dimensioni variabili come input per una rete neurale convoluzionale per il rilevamento di oggetti? Se possibile, come possiamo farlo? Ma se proviamo a ritagliare l'immagine, perderemo una parte dell'immagine e se proviamo a ridimensionare, allora la chiarezza dell'immagine andrà persa. Significa che l'uso della proprietà di …

17 deep-learning tensorflow keras computer-vision object-detection

Domande taggate «tensorflow»