Statistiche e Big Data neural-networks

1

Quanti dati per l'apprendimento profondo?

Sto imparando il deep learning (in particolare le CNN) e come in genere richiede moltissimi dati per prevenire un eccesso di adattamento. Tuttavia, mi è stato anche detto che maggiore è la capacità / più parametri ha un modello, più dati sono necessari per evitare un eccesso di adattamento. Pertanto, …

9 machine-learning neural-networks deep-learning conv-neural-network

2

Prevedere la fiducia di una rete neurale

Supponiamo di voler formare una rete neurale profonda per eseguire la classificazione o la regressione, ma voglio sapere quanto sarà sicura la previsione. Come ho potuto raggiungere questo obiettivo? La mia idea è di calcolare l'entropia crociata per ogni dato di allenamento, in base alle sue prestazioni di previsione nei …

9 machine-learning neural-networks

2

Derivando il gradiente di una rete neurale a singolo strato dai suoi input, qual è l'operatore nella regola della catena?

Il problema è: Deriva il gradiente rispetto allo strato di input per una singola rete neurale a strato nascosto usando sigmoid per input -> nascosto, softmax per nascosto -> output, con una perdita di entropia incrociata. Posso superare gran parte della derivazione usando la regola della catena, ma non sono …

9 neural-networks gradient

1

Normalizzazione degli input per i neuroni ReLU

Secondo "Efficient Backprop" di LeCun et al (1998) è buona norma normalizzare tutti gli input in modo che siano centrati attorno a 0 e rientrino nell'intervallo della seconda derivata massima. Quindi, per esempio, useremmo [-0.5,0.5] per la funzione "Tanh". Questo per aiutare il progresso della retro-propagazione man mano che l'Assia …

9 machine-learning neural-networks normalization deep-learning multidimensional-scaling

1

Impossibile far funzionare correttamente questa rete del codificatore automatico (con livelli convoluzionali e maxpool)

Le reti di autoencoder sembrano essere molto più complicate delle normali reti MLP classificatore. Dopo diversi tentativi di utilizzo di Lasagne, tutto ciò che ottengo nell'output ricostruito è qualcosa che assomiglia al meglio a una media sfocata di tutte le immagini del database MNIST senza distinzioni su cosa sia effettivamente …

9 machine-learning neural-networks dimensionality-reduction unsupervised-learning autoencoders

1

Quali sono le differenze tra i filtri appresi nell'autoencoder e nella rete neurale convoluzionale?

In CNN, impareremo i filtri per produrre una mappa delle caratteristiche nel livello convoluzionale. In Autoencoder, ciascuna singola unità nascosta di livello può essere considerata come filtro. Qual è la differenza tra i filtri appresi in queste due reti?

9 machine-learning neural-networks conv-neural-network autoencoders

1

Quali linee guida dovrebbero essere seguite per l'utilizzo di reti neurali con input sparsi

Ho input estremamente sparsi, ad esempio posizioni di determinate funzionalità in un'immagine di input. Inoltre, ogni funzione può avere più rilevamenti (non sono sicuro che ciò abbia un impatto sul design del sistema). Questo lo presenterò come 'immagine binaria' del canale k con pixel ON che rappresentano la presenza di …

9 neural-networks deep-learning sparse

2

Adattamento dinamico dell'architettura NN: inventare l'inutile?

Sto iniziando il mio percorso di dottorato di ricerca e l'obiettivo finale che mi ero prefissato è sviluppare ANNs che monitorassero l'ambiente in cui lavorano e adeguassero dinamicamente la loro architettura al problema attuale. L'ovvia implicazione è la temporalità dei dati: se il set di dati non è continuo e …

9 machine-learning neural-networks

1

Misurazione della correlazione di reti neurali addestrate

Sto addestrando una rete neurale artificiale (backpropagation, feed-forward) con dati distribuiti non normali. Oltre all'errore quadratico medio della radice, la letteratura suggerisce spesso il coefficiente di correlazione di Pearson per valutare la qualità della rete addestrata. Ma il coefficiente di correlazione di Pearson è ragionevole se i dati di allenamento …

9 correlation neural-networks spearman-rho

1

Autoencoder variabile con modello di miscela gaussiana

Un autoencoder variazionale (VAE) fornisce un modo per apprendere la distribuzione di probabilità correlando un input alla sua rappresentazione latente . In particolare, l'encoder associa un input a una distribuzione su . Un tipico codificatore emetterà parametri , che rappresentano la distribuzione gaussiana ; questa distribuzione viene utilizzata come nostra …

9 neural-networks deep-learning autoencoders variational-bayes

1

Differenza tra Naive Bayes e Recurrent Neural Network (LSTM)

Voglio eseguire un'analisi del sentimento sul testo, ho esaminato diversi articoli, alcuni usano "Naive Bayes" e altri sono "Recurrent Neural Network (LSTM)" , d'altro canto ho visto una libreria Python per l'analisi del sentiment che è nltk. Utilizza "Naive Bayes" qualcuno può spiegare qual è la differenza tra l'utilizzo dei …

8 machine-learning neural-networks python natural-language

1

Definizione della funzione softmax

Questa domanda fa seguito a stats.stackexchange.com/q/233658 Il modello di regressione logistica per le classi {0, 1} è P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx)P(y=1|x)=exp⁡(wTx)1+exp⁡(wTx)P(y=0|x)=11+exp⁡(wTx) \mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)} Chiaramente queste probabilità si sommano a 1. Impostando …

8 logistic neural-networks multinomial-logit softmax identifiability

Domande taggate «neural-networks»