Statistiche e Big Data neural-networks

3

Sto cercando di aggiungere uno strato di softmax a una rete neurale addestrata con backpropagation, quindi sto provando a calcolare il suo gradiente. L'output di softmax è hj=ezj∑ezihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}} cuijjjè il numero di uscita neurone. Se lo ricavo, allora ottengo ∂hj∂zj=hj(1−hj)∂hj∂zj=hj(1−hj)\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j) Simile alla regressione logistica. Tuttavia, questo è sbagliato …

43 neural-networks

2

Che cos'è maxout nella rete neurale?

Qualcuno può spiegare cosa fanno le unità maxout in una rete neurale? Come si comportano e in che cosa differiscono dalle unità convenzionali? Ho provato a leggere il documento "Maxout Network" del 2013 di Goodfellow et al. (dal gruppo del professor Yoshua Bengio), ma non capisco bene.

42 machine-learning neural-networks

1

Reti neurali: momento di variazione del peso e decadimento del peso

Lo slancio viene utilizzato per ridurre le fluttuazioni delle variazioni di peso su iterazioni consecutive:αα\alpha Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t), dove è la funzione di errore, - il vettore dei pesi, - tasso di apprendimento.E(w)E(w)E({\bf w})ww{\bf w}ηη\eta La riduzione del peso penalizza le variazioni di …

41 neural-networks optimization regularization gradient-descent

4

Perché la funzione sigmoid invece di qualsiasi altra cosa?

Perché la funzione sigmoide standard di fatto, 11+e−x11+e−x\frac{1}{1+e^{-x}} , è così popolare nelle reti neuronali (non profonde) e nella regressione logistica? Perché non usiamo molte delle altre funzioni derivabili, con tempi di calcolo più rapidi o decadimento più lento (quindi il gradiente di scomparsa si verifica meno). Alcuni esempi sono …

40 logistic neural-networks least-squares

3

Quali sono le differenze tra i modelli di Markov nascosti e le reti neurali?

Mi sto solo bagnando i piedi nelle statistiche, quindi mi dispiace se questa domanda non ha senso. Ho usato i modelli Markov per prevedere stati nascosti (casinò ingiusti, lancio di dadi, ecc.) E reti neurali per studiare i clic degli utenti su un motore di ricerca. Entrambi avevano stati nascosti …

40 data-mining algorithms neural-networks markov-process

4

In che modo la funzione di attivazione rettilinea risolve il problema del gradiente evanescente nelle reti neurali?

Ho trovato l'unità lineare rettificata (ReLU) elogiata in diversi punti come soluzione al problema del gradiente di fuga per le reti neurali. Cioè, si usa max (0, x) come funzione di attivazione. Quando l'attivazione è positiva, è ovvio che è meglio, per esempio, della funzione di attivazione sigmoidea, poiché la …

40 machine-learning neural-networks deep-learning gradient-descent

7

Normalizzazione e standardizzazione dei dati nelle reti neurali

Sto cercando di prevedere il risultato di un sistema complesso che utilizza reti neurali (ANN). I valori di risultato (dipendenti) vanno da 0 a 10.000. Le diverse variabili di input hanno intervalli diversi. Tutte le variabili hanno distribuzioni approssimativamente normali. Considero diverse opzioni per ridimensionare i dati prima dell'allenamento. Un'opzione …

40 machine-learning neural-networks multidimensional-scaling

2

ImageNet: qual è il tasso di errore top-1 e top-5?

Nei documenti di classificazione di ImageNet i tassi di errore top-1 e top-5 sono unità importanti per misurare il successo di alcune soluzioni, ma quali sono questi tassi di errore? Nella classificazione ImageNet con reti neurali profonde convoluzionali di Krizhevsky et al. ogni soluzione basata su una sola CNN (pagina …

38 classification neural-networks error measurement-error image-processing

5

Come visualizzare / capire cosa sta facendo una rete neurale?

Le reti neurali sono spesso trattate come "scatole nere" a causa della loro struttura complessa. Questo non è l'ideale, in quanto è spesso utile avere una comprensione intuitiva del funzionamento interno di un modello. Quali sono i metodi per visualizzare il funzionamento di una rete neurale addestrata? In alternativa, come …

37 data-visualization neural-networks

7

Perché la regolarizzazione non risolve la fame di reti neurali profonde?

Un problema che ho visto spesso sollevato nel contesto delle reti neurali in generale, e delle reti neurali profonde in particolare, è che sono "affamati di dati", ovvero che non funzionano bene se non disponiamo di un set di dati di grandi dimensioni con cui addestrare la rete. La mia …

37 neural-networks deep-learning regularization

4

Cosa devo fare quando la mia rete neurale non si generalizza bene?

Sto allenando una rete neurale e la perdita di allenamento diminuisce, ma la perdita di validazione non lo fa, o diminuisce molto meno di quanto mi aspetterei, sulla base di riferimenti o esperimenti con architetture e dati molto simili. Come posso risolvere questo problema? Per quanto riguarda la domanda Cosa …

37 neural-networks deep-learning

4

Differenza tra "kernel" e "filtro" nella CNN

Qual è la differenza tra i termini "kernel" e "filtro" nel contesto delle reti neurali convoluzionali?

37 neural-networks terminology deep-learning conv-neural-network

3

Apprendimento automatico: dovrei usare un'entropia incrociata categorica o una perdita binaria di entropia incrociata per le previsioni binarie?

Prima di tutto, mi sono reso conto che se devo eseguire previsioni binarie, devo creare almeno due classi eseguendo una codifica a caldo. È corretto? Tuttavia, l'entropia incrociata binaria è solo per le previsioni con una sola classe? Se dovessi usare una categorica perdita di entropia che si trova in …

36 machine-learning neural-networks loss-functions tensorflow cross-entropy

5

La funzione di costo della rete neurale non è convessa?

La funzione di costo della rete neurale è e si afferma che non sia convessa . Non capisco bene perché sia così, dal momento che come vedo è abbastanza simile alla funzione di costo della regressione logistica, giusto?J(W,b)J(W,b)J(W,b) Se non è convesso, quindi la derivata del 2 ° ordine , …

36 neural-networks loss-functions

4

In che modo LSTM previene il problema del gradiente evanescente?

LSTM è stato inventato appositamente per evitare il problema del gradiente di sparizione. Si suppone che lo faccia con il Constant Error Carousel (CEC), che sul diagramma sottostante (da Greff et al. ) Corrisponde al loop attorno alla cella . (fonte: deeplearning4j.org ) E capisco che quella parte può essere …

35 neural-networks lstm

Domande taggate «neural-networks»