Statistiche e Big Data conv-neural-network

4

Di quanti dati hai bisogno per una rete neurale convoluzionale?

Se ho una rete neurale convoluzionale (CNN), che ha circa 1.000.000 di parametri, quanti dati di addestramento sono necessari (supponiamo che stia facendo una pendenza stocastica)? C'è qualche regola empirica? Note aggiuntive: quando ho eseguito la discesa gradiente stocastica (ad es. 64 patch per 1 iterazione), dopo ~ 10000 iterazioni, …

14 machine-learning neural-networks deep-learning conv-neural-network

2

Che cosa significa "invarianza di permutazione" nel contesto delle reti neurali che riconoscono l'immagine?

Ho visto un termine versione "permutazione invariante" dell'attività di riconoscimento delle cifre MNIST. Cosa significa?

14 machine-learning neural-networks terminology conv-neural-network definition

2

Inizializzazione del peso xavier della CNN

In alcuni tutorial ho scoperto che l'inizializzazione del peso "Xavier" (articolo: comprendere la difficoltà di addestrare reti neurali profonde ) è un modo efficace per inizializzare i pesi delle reti neurali. Per i livelli completamente collegati c'era una regola empirica in quei tutorial: Var(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W) = \frac{2}{n_{in} + n_{out}}, …

14 normal-distribution variance neural-networks conv-neural-network

3

Teorema universale di approssimazione per reti convoluzionali

Il teorema di approssimazione universale è un risultato abbastanza famoso per le reti neurali, in sostanza affermando che sotto alcuni presupposti, una funzione può essere approssimata uniformemente da una rete neurale con qualsiasi precisione. C'è qualche risultato analogo che si applica alle reti neurali convoluzionali?

14 neural-networks conv-neural-network approximation

2

Modello di Google Inception: perché esiste più softmax?

La topologia del modello di Google Inception è disponibile qui: Google Inception Netowrk Ho notato che ci sono 3 livelli di softmax in questo modello (# 154, # 152, # 145) e 2 di loro sono una sorta di fuga anticipata di questo modello. Da quello che so, il layer …

13 deep-learning conv-neural-network

3

La rete neurale (ad es. Rete neurale convoluzionale) può avere pesi negativi?

È possibile avere pesi negativi (dopo epoche sufficienti) per reti neurali convoluzionali profonde quando si utilizza ReLU per tutti i livelli di attivazione?

13 machine-learning neural-networks deep-learning conv-neural-network

5

Esiste uno strumento visivo per la progettazione e l'applicazione di reti neurali / apprendimento profondo? [chiuso]

Chiuso. Questa domanda è fuori tema . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per Cross Validated. Chiuso 10 mesi fa . So che ci sono molte librerie per l'apprendimento automatico e l'apprendimento profondo come caffe, Theano, TensorFlow, keras, …

13 neural-networks deep-learning conv-neural-network

2

Che cos'è il vincolo maxnorm? In che modo è utile nelle reti neurali convoluzionali?

Ecco un esempio di codice keras che lo utilizza: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks regularization conv-neural-network optimization

4

Nella CNN, l'upsampling e la trasposizione della convoluzione sono uguali?

Entrambi i termini "ricampionamento" e "trasposizione della convoluzione" sono usati quando si sta facendo "deconvoluzione" (<- non un buon termine, ma permettetemi di usarlo qui). Inizialmente, pensavo che significassero la stessa cosa, ma mi sembra che siano diversi dopo aver letto questi articoli. qualcuno può chiarire per favore? Trasposizione della …

12 machine-learning neural-networks conv-neural-network transposed-convolution

1

Che cos'è esattamente un blocco di apprendimento residuo nel contesto delle reti di residui profondi in apprendimento profondo?

Stavo leggendo il documento Deep Residual Learning for Image Recognition e ho avuto difficoltà a comprendere con certezza al 100% ciò che un blocco residuo comporta computazionalmente. Leggendo il loro articolo hanno la figura 2: che illustra cosa dovrebbe essere un blocco residuo. Il calcolo di un blocco residuo è …

12 machine-learning neural-networks deep-learning conv-neural-network residual-networks

2

Come funziona l'operazione DepthConcat in "Approfondire le convoluzioni"?

Leggendo Approfondendo le convoluzioni, mi sono imbattuto in un livello DepthConcat , un blocco costitutivo dei moduli di avvio proposti , che combina l'output di più tensori di dimensioni variabili. Gli autori chiamano questo "filtro concatenazione". Sembra che ci sia un'implementazione per Torch , ma non capisco davvero cosa faccia. …

12 neural-networks torch conv-neural-network

2

Scegli la dimensione del filtro, i passi ecc. In una CNN?

Ho seguito le lezioni CS231N di Stanford e sto cercando di avvolgere la mia testa su alcuni problemi delle architetture della CNN. Quello che sto cercando di capire è se ci sono alcune linee guida generali per scegliere la dimensione del filtro di convoluzione e cose come i passi o …

12 neural-networks deep-learning conv-neural-network

3

Non linearità prima dello strato finale di Softmax in una rete neurale convoluzionale

Sto studiando e cercando di implementare reti neurali convoluzionali, ma suppongo che questa domanda si applichi ai percetroni multistrato in generale. I neuroni di output nella mia rete rappresentano l'attivazione di ogni classe: il neurone più attivo corrisponde alla classe prevista per un dato input. Per considerare un costo di …

12 neural-networks deep-learning conv-neural-network nonlinear softmax

5

Quale funzione di perdita dovrei usare per il rilevamento binario nel rilevamento di volti / non volti nella CNN?

Voglio usare il deep learning per addestrare un rilevamento binario viso / non viso, quale perdita dovrei usare, penso che sia SigmoidCrossEntropyLoss o Hinge-loss . Esatto, ma mi chiedo anche di usare softmax ma con solo due classi?

11 deep-learning loss-functions computer-vision conv-neural-network

2

Perché le CNN si concludono con i livelli FC?

Da quanto ho capito, le CNN sono composte da due parti. La prima parte (livelli conv / pool) che esegue l'estrazione delle caratteristiche e la seconda parte (livelli fc) che esegue la classificazione delle caratteristiche. Dato che le reti neurali completamente connesse non sono i migliori classificatori (ovvero sono sovraperformate …

11 neural-networks svm random-forest conv-neural-network

Domande taggate «conv-neural-network»