Statistiche e Big Data neural-networks

3

Architetture neurali: progettazione automatica basata sui dati

I recenti progressi nelle reti neurali sono riassunti in una sequenza di nuove architetture caratterizzate principalmente dalla sua crescente complessità progettuale. Da LeNet5 (1994) a AlexNet (2012), a Overfeat (2013) e GoogleLeNet / Inception (2014) e così via ... Esiste un tentativo di consentire alla macchina di decidere / progettare …

12 neural-networks deep-learning

2

Cattura di schemi iniziali quando si utilizza la backpropagation troncata nel tempo (RNN / LSTM)

Supponiamo che io usi un RNN / LSTM per fare l'analisi del sentiment, che è un approccio molti-a-uno (vedi questo blog ). La rete viene addestrata attraverso una backpropagation troncata nel tempo (BPTT), dove la rete viene srotolata solo per gli ultimi 30 passaggi. Nel mio caso, ciascuna delle mie …

12 neural-networks deep-learning natural-language backpropagation

1

Perché le persone non usano RBF più profondi o RBF in combinazione con MLP?

Quindi, quando guardo le reti neurali con funzione di base radiale, ho notato che le persone raccomandano sempre e solo l'uso di 1 strato nascosto, mentre con le reti neurali percettrici multistrato più strati sono considerati migliori. Dato che le reti RBF possono essere addestrate con la versione della propagazione …

12 machine-learning neural-networks rbf-network

2

Quali sono i vantaggi dell'utilizzo di una rete neurale bayesiana

Recentemente ho letto alcuni articoli sulla rete neurale bayesiana (BNN) [Neal, 1992] , [Neal, 2012] , che fornisce una relazione di probabilità tra l'input e l'output in una rete neurale. La formazione di una tale rete neurale avviene tramite MCMC, che è diverso dal tradizionale algoritmo di retro-propagazione. La mia …

12 bayesian neural-networks bayesian-network

4

Qual è la differenza tra una rete neurale e un percettrone?

C'è qualche differenza tra i termini "rete neurale" e "perceptron"?

12 machine-learning neural-networks terminology perceptron

5

Come eseguire l'imputazione dei valori in un numero molto elevato di punti dati?

Ho un set di dati molto grande e mancano circa il 5% di valori casuali. Queste variabili sono correlate tra loro. Il seguente set di dati R è solo un esempio di giocattolo con dati correlati fittizi. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

2

Come applicare le reti neurali su problemi di classificazione multi-etichetta?

Descrizione: Lascia che il dominio problematico sia la classificazione dei documenti in cui esiste una serie di vettori di caratteristiche, ciascuno appartenente a 1 o più classi. Ad esempio, un documento doc_1potrebbe appartenere Sportse Englishcategorie. Domanda: Usando la rete neurale per la classificazione, quale sarebbe l'etichetta per un vettore caratteristica? …

12 machine-learning neural-networks natural-language multilabel

2

Applicazione dell'apprendimento automatico per il filtro DDoS

Nel corso di Machine Learning di Stanford, Andrew Ng ha menzionato l'applicazione dell'ML in IT. Qualche tempo dopo, quando ho ottenuto DDoS di dimensioni moderate (circa 20k bot) sul nostro sito, ho deciso di lottare contro di esso usando un semplice classificatore di reti neurali. Ho scritto questo script Python …

12 classification neural-networks unsupervised-learning

2

Perché una funzione di perdita 0-1 è intrattabile?

Nel libro Deep Learning di Ian Goodfellow , è scritto questo A volte, la funzione di perdita di cui ci preoccupiamo (diciamo, errore di classificazione) non può essere ottimizzata in modo efficiente. Ad esempio, minimizzare esattamente la perdita attesa 0-1 è generalmente intrattabile (esponenziale nella dimensione di input), anche per …

12 neural-networks deep-learning loss-functions

2

Si può (teoricamente) allenare una rete neurale con meno campioni di allenamento rispetto ai pesi?

Prima di tutto: lo so, non esiste un numero generale di dimensioni del campione richieste per addestrare una rete neurale. Dipende da troppi fattori come la complessità dell'attività, il rumore nei dati e così via. E più campioni di formazione ho, migliore sarà la mia rete. Ma mi chiedevo: è …

12 neural-networks overfitting underdetermined

2

In che modo la discesa del gradiente minibatch aggiorna i pesi per ciascun esempio in un batch?

Se elaboriamo diciamo 10 esempi in un batch, capisco che possiamo sommare la perdita per ogni esempio, ma come funziona la backpropagation per quanto riguarda l'aggiornamento dei pesi per ogni esempio? Per esempio: Esempio 1 -> perdita = 2 Esempio 2 -> perdita = -2 Ciò si traduce in una …

12 neural-networks gradient-descent backpropagation tensorflow

3

Motivare le unità di uscita sigmoide nelle reti neurali a partire da probabilità log non normalizzate lineari in e

Background: sto studiando il capitolo 6 di Deep Learning di Ian Goodfellow e Yoshua Bengio e Aaron Courville. Nella sezione 6.2.2.2 (pagine 182 di 183 che possono essere visualizzate qui è motivato l'uso di sigmoid per l'output .P( y= 1 | x )P(y=1|X)P(y=1|x) Per riassumere parte del materiale lasciano z= …

12 neural-networks deep-learning

2

Che cos'è il vincolo maxnorm? In che modo è utile nelle reti neurali convoluzionali?

Ecco un esempio di codice keras che lo utilizza: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks regularization conv-neural-network optimization

4

Nella CNN, l'upsampling e la trasposizione della convoluzione sono uguali?

Entrambi i termini "ricampionamento" e "trasposizione della convoluzione" sono usati quando si sta facendo "deconvoluzione" (<- non un buon termine, ma permettetemi di usarlo qui). Inizialmente, pensavo che significassero la stessa cosa, ma mi sembra che siano diversi dopo aver letto questi articoli. qualcuno può chiarire per favore? Trasposizione della …

12 machine-learning neural-networks conv-neural-network transposed-convolution

1

Che cos'è esattamente un blocco di apprendimento residuo nel contesto delle reti di residui profondi in apprendimento profondo?

Stavo leggendo il documento Deep Residual Learning for Image Recognition e ho avuto difficoltà a comprendere con certezza al 100% ciò che un blocco residuo comporta computazionalmente. Leggendo il loro articolo hanno la figura 2: che illustra cosa dovrebbe essere un blocco residuo. Il calcolo di un blocco residuo è …

12 machine-learning neural-networks deep-learning conv-neural-network residual-networks

Domande taggate «neural-networks»