Statistiche e Big Data neural-networks

2

funzione di attivazione tanh vs funzione di attivazione sigmoid

La funzione di attivazione tanh è: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Dove σ(x)σ(x)\sigma(x) , la funzione sigmoide, è definita come: σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} . Domande: Importa davvero tra l'uso di queste due funzioni di attivazione (tanh vs. sigma)? Quale …

82 machine-learning neural-networks optimization cost-maximization

4

Perché le reti neurali stanno diventando più profonde, ma non più ampie?

Negli ultimi anni, le reti neurali convoluzionali (o forse le reti neurali profonde in generale) sono diventate sempre più profonde, con reti all'avanguardia che vanno da 7 strati ( AlexNet ) a 1000 strati ( reti residue) nello spazio di 4 anni. Il motivo dietro l'aumento delle prestazioni da una …

73 machine-learning classification neural-networks deep-learning conv-neural-network

3

Perché i ricercatori delle reti neurali si preoccupano delle epoche?

Un'epoca nella discesa del gradiente stocastico è definita come un singolo passaggio attraverso i dati. Per ogni minibatch SGD, vengono estratti campioni, il gradiente calcolato e i parametri aggiornati. Nell'impostazione dell'epoca, i campioni vengono disegnati senza sostituzione.kkk Ma questo sembra inutile. Perché non disegnare ogni minibatch SGD mentre disegna casualmente …

69 neural-networks deep-learning gradient-descent

6

Quali sono i buoni pesi iniziali in una rete neurale?

Ho appena sentito che è una buona idea scegliere i pesi iniziali di una rete neurale dall'intervallo , dove è il numero di input per un dato neurone. Si presume che gli insiemi siano normalizzati - media 0, varianza 1 (non so se questo è importante).(−1d√,1d√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})ddd …

68 neural-networks normalization

3

Modo corretto di utilizzare la rete neurale ricorrente per l'analisi delle serie storiche

Le reti neurali ricorrenti differiscono da quelle "normali" per il fatto che hanno un livello di "memoria". A causa di questo livello, le NN ricorrenti dovrebbero essere utili nella modellazione di serie temporali. Tuttavia, non sono sicuro di aver capito correttamente come usarli. Diciamo che ho le seguenti serie temporali …

67 time-series machine-learning neural-networks

4

Dove devo posizionare i livelli di dropout in una rete neurale?

Esistono linee guida generali su dove posizionare i livelli di dropout in una rete neurale?

65 neural-networks dropout

5

Quale funzione di perdita per compiti di classificazione multi-classe e multi-etichetta nelle reti neurali?

Sto addestrando una rete neurale per classificare un insieme di oggetti in n-classi. Ogni oggetto può appartenere a più classi contemporaneamente (multi-classe, multi-etichetta). Ho letto che per problemi multi-classe è generalmente raccomandato l'uso di softmax e entropia incrociata categorica come funzione di perdita invece di mse e capisco più o …

64 neural-networks python loss-functions keras cross-entropy

12

Perché le reti neurali hanno bisogno di così tanti esempi di formazione per esibirsi?

Un bambino umano all'età di 2 anni ha bisogno di circa 5 istanze di un'auto per essere in grado di identificarlo con ragionevole accuratezza indipendentemente dal colore, dalla marca, ecc. Quando mio figlio aveva 2 anni, era in grado di identificare tram e treni, anche se aveva visto solo alcune. …

64 neural-networks neuroscience

3

Qual è la differenza tra una rete neurale e una rete di credenze profonde?

Ho l'impressione che quando le persone si riferiscono a una rete di "convinzioni profonde" si tratti sostanzialmente di una rete neurale ma di dimensioni molto grandi. È corretto o una rete di credenze profonde implica anche che l'algoritmo stesso è diverso (ovvero, nessuna rete neurale feed forward ma forse qualcosa …

62 machine-learning neural-networks deep-learning deep-belief-networks

9

Come e perché funzionano la normalizzazione e il ridimensionamento delle funzionalità?

Vedo che molti algoritmi di machine learning funzionano meglio con la cancellazione media e l'equalizzazione della covarianza. Ad esempio, le reti neurali tendono a convergere più velocemente e K-Means generalmente fornisce un clustering migliore con funzionalità pre-elaborate. Non vedo l'intuizione dietro questi passaggi di pre-elaborazione che portano a prestazioni migliori. …

61 machine-learning neural-networks covariance normalization

3

Qual è la differenza tra reti neurali feed-forward e ricorrenti?

Qual è la differenza tra una rete neurale feed-forward e ricorrente ? Perché dovresti usarne uno sopra l'altro? Esistono altre topologie di rete?

59 machine-learning neural-networks terminology rnn topologies

10

Errore di convalida inferiore all'errore di addestramento?

Ho trovato due domande qui e qui su questo problema, ma non c'è ancora una risposta o spiegazione ovvia. Faccio valere lo stesso problema in cui l'errore di convalida è inferiore all'errore di addestramento nella mia rete neurale di convoluzione. Cosa significa?

58 machine-learning mathematical-statistics neural-networks cross-validation

4

Quali sono le differenze tra PCA e autoencoder?

Sia PCA che autoencoder possono ridurre la demensione, quindi quali sono le differenze? In quale situazione dovrei usare l'uno sull'altro?

56 machine-learning pca neural-networks autoencoders

8

Librerie R per l'apprendimento profondo

Mi chiedevo se ci sono buone librerie R là fuori per le reti neurali di apprendimento profondo? So che c'è il nnet, neuralnete RSNNS, ma nessuno di questi sembra implementare metodi di apprendimento profondo. Sono particolarmente interessato a un apprendimento non supervisionato seguito da un apprendimento supervisionato e all'utilizzo del …

56 r neural-networks deep-learning rbm deep-belief-networks

2

Che cos'è il livello di pooling massimo globale e quali sono i suoi vantaggi rispetto al livello di max max passaggi?

Qualcuno può spiegare cos'è un max pooling globale e perché e quando lo utilizziamo per allenare una rete neurale. Hanno qualche vantaggio rispetto al normale livello massimo di pooling?

55 neural-networks conv-neural-network pooling

Domande taggate «neural-networks»