Statistiche e Big Data neural-networks

2

Di recente, stavo lavorando all'apprendimento di algoritmi di potenziamento, come adaboost, boost gradiente, e ho saputo che lo studente debole più usato è l'albero. Voglio davvero sapere ci sono alcuni esempi recenti di successo (intendo alcuni documenti o articoli) per l'utilizzo di reti neurali come studente di base.

21 neural-networks deep-learning boosting ensemble dropout

3

Dalla regola Perceptron alla Discesa del gradiente: in che modo Perceptrons con una funzione di attivazione sigmoidea differisce dalla regressione logistica?

In sostanza, la mia domanda è che nei Perceptron multistrato, i percettroni sono usati con una funzione di attivazione sigmoidea. In modo che nella regola di aggiornamento sia calcolato comey^y^\hat{y} y^=11+exp(−wTxi)y^=11+exp⁡(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} In che modo questo "sigmoide" Perceptron differisce quindi da una regressione logistica? Direi che un percettrone sigmoideo …

21 logistic classification neural-networks gradient-descent perceptron

2

Rete neurale convoluzionale per serie storiche?

Vorrei sapere se esiste un codice per addestrare una rete neurale convoluzionale per la classificazione delle serie temporali. Ho visto alcuni articoli recenti ( http://www.fer.unizg.hr/_download/repository/KDI-Djalto.pdf ) ma non sono sicuro che esista qualcosa o se lo devo codificare da solo.

21 time-series classification neural-networks conv-neural-network

5

Motivo per non ridurre il termine del bias (intercetta) nella regressione

Per un modello lineare y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilon , il termine di restringimento è sempre P(β)P(β)P(\beta) . Qual è la ragione per cui non restringiamo il termine bias (intercetta) β0β0\beta_0 ? Dovremmo ridurre il termine di distorsione nei modelli di rete neurale?

21 regression neural-networks ridge-regression intercept shrinkage

5

Reti neurali moderne che costruiscono la propria topologia

Una limitazione degli algoritmi di rete neurale standard (come backprop) è che devi prendere una decisione di progettazione di quanti strati nascosti e neuroni per strato vuoi. Di solito, il tasso di apprendimento e la generalizzazione sono molto sensibili a queste scelte. Questo è stato il motivo per cui gli …

21 neural-networks

5

Come posso migliorare la mia rete neurale nel prevedere le onde sinusoidali?

Qui, dai un'occhiata: puoi vedere esattamente dove finiscono i dati di allenamento. I dati di allenamento vanno da a .- 1−1-1111 Ho usato Keras e una rete densa 1-100-100-2 con attivazione tanh. Calcolo il risultato da due valori, p e q come p / q. In questo modo posso raggiungere …

21 regression neural-networks python keras

3

La perdita di allenamento aumenta con il tempo [duplicato]

Questa domanda ha già risposte qui : In che modo la modifica della funzione di costo può essere positiva? (1 risposta) Cosa devo fare quando la mia rete neurale non impara? (5 risposte) Chiuso il mese scorso . Sto addestrando un modello (rete neurale ricorrente) per classificare 4 tipi di …

21 machine-learning neural-networks loss-functions rnn training-error

2

Quali sono i vantaggi dell'utilizzo di ReLU rispetto a softplus come funzioni di attivazione?

Si dice spesso che le unità lineari rettificate (ReLU) hanno sostituito le unità softplus perché sono lineari e più veloci da calcolare. Softplus ha ancora il vantaggio di indurre la scarsità o è limitato alla ReLU? Il motivo per cui lo chiedo è che mi chiedo conseguenze negative della pendenza …

21 machine-learning neural-networks

2

Come e perché la normalizzazione batch utilizza le medie mobili per tenere traccia dell'accuratezza del modello mentre si allena?

Stavo leggendo il documento di normalizzazione in lotti (BN) (1) e non capivo la necessità di utilizzare le medie mobili per tenere traccia dell'accuratezza del modello e anche se ho accettato che era la cosa giusta da fare, non capisco cosa stanno facendo esattamente. Per quanto ne so (che ho …

21 machine-learning neural-networks deep-learning conv-neural-network batch-normalization

2

Qual è la differenza tra l'inizializzatore di ridimensionamento della varianza e l'inizializzatore di xavier?

Nell'implementazione di ResNet di Tensorflow , trovo che utilizzino l'inizializzatore di ridimensionamento della varianza, trovo anche che l'inizializzatore di xavier sia popolare. Non ho troppa esperienza su questo, che è meglio in pratica?

20 machine-learning neural-networks deep-learning conv-neural-network tensorflow

2

Perché la funzione softmax viene utilizzata per calcolare le probabilità sebbene possiamo dividere ciascun valore per la somma del vettore?

L'applicazione della funzione softmax su un vettore produrrà "probabilità" e valori compresi tra e . 000111 Ma possiamo anche dividere ogni valore per la somma del vettore e questo produrrà probabilità e valori tra e .000111 Ho letto la risposta qui, ma dice che il motivo è perché è differenziabile, …

20 machine-learning neural-networks softmax

1

Dalle reti bayesiane alle reti neurali: come la regressione multivariata può essere trasposta in una rete multi-output

Ho a che fare con un modello lineare gerarchico bayesiano , qui la rete lo descrive. YYY rappresenta le vendite giornaliere di un prodotto in un supermercato (osservato). XXX è una matrice nota di regressori, inclusi prezzi, promozioni, giorno della settimana, tempo, festività. SSS è il livello di inventario latente …

20 regression bayesian neural-networks generalized-linear-model bayesian-network

4

Codifica dei dati angolari per la rete neurale

Sto addestrando una rete neurale (dettagli non importanti) in cui i dati target sono un vettore di angoli (tra 0 e 2 * pi). Sto cercando consigli su come codificare questi dati. Ecco cosa sto provando attualmente (con successo limitato): 1) Codifica 1-of-C: inserisco i possibili angoli impostati in circa …

20 neural-networks circular-statistics

1

Come configurare la rete neurale per l'output di dati ordinali?

Ho una rete neurale impostata per prevedere qualcosa in cui la variabile di output è ordinale. Descriverò di seguito usando tre possibili uscite A <B <C. È abbastanza ovvio come utilizzare una rete neurale per l'output di dati categorici: l'output è solo un softmax dell'ultimo livello (generalmente completamente collegato), uno …

20 neural-networks ordinal-data softmax

3

Come utilizzare l'arresto anticipato correttamente per allenare una rete neurale profonda?

Ho un modello di rete neurale profondo e ho bisogno di addestrarlo sul mio set di dati che comprende circa 100.000 esempi, i miei dati di validazione contengono circa 1000 esempi. Poiché ci vuole tempo per addestrare ogni esempio (circa 0,5 secondi per ogni esempio) e per evitare un eccesso …

20 neural-networks deep-learning

Domande taggate «neural-networks»