Statistiche e Big Data

1

Sto eseguendo esperimenti sul set di validazione EMNIST usando le reti con RMSProp, Adam e SGD. Sto ottenendo una precisione dell'87% con SGD (tasso di apprendimento di 0,1) e dropout (0.1 drop prob) e regolarizzazione L2 (penalità 1e-05). Quando collaudo la stessa configurazione esatta con RMSProp e Adam, nonché il …

12 machine-learning optimization sgd adam

1

La distribuzione gaussiana è un caso specifico della distribuzione beta?

Se guardi una distribuzione beta conα = β= 4α=β=4\alpha=\beta=4 sembra molto simile a una distribuzione gaussiana . Ma è? Come puoi provare se una distribuzione Beta (4,4) è gaussiana o no?

12 normal-distribution beta-distribution

5

È possibile che due variabili casuali della stessa famiglia di distribuzione abbiano le stesse aspettative e varianze, ma diversi momenti più elevati?

Stavo pensando al significato della famiglia in scala locale. La mia comprensione è che per ogni membro di una famiglia della scala di posizione con parametri posizione e una scala , quindi la distribuzione di non dipende da alcun parametro ed è la stessa per ogni appartenente a quella famiglia.XXXaaabbbZ=(X−a)/bZ=(X−a)/bZ …

12 probability distributions mathematical-statistics random-variable moments

1

Effetto causale delle regolazioni della porta posteriore e della porta anteriore

Se volessimo calcolare l'effetto causale di su nel grafico causale di seguito, possiamo usare sia i teoremi di regolazione della porta di servizio che quelli di regolazione della porta di casa, cioè XXXYYYP( y| do (X= x ) ) = ∑uP( y| x,u)P( u )P(y|do(X=x))=∑uP(y|x,u)P(u)P(y | \textit{do}(X = x)) = …

12 self-study causality graph-theory dag

4

Qual è la relazione tra ANOVA per confrontare i mezzi di diversi gruppi e ANOVA per confrontare i modelli nidificati?

Finora ho visto ANOVA usato in due modi: Innanzitutto , nel mio testo introduttivo sulle statistiche, ANOVA è stato introdotto come un modo per confrontare i mezzi di tre o più gruppi, come un miglioramento rispetto al confronto a coppie, al fine di determinare se uno dei mezzi presenta una …

12 hypothesis-testing anova model-comparison f-test nested-models

2

Si può (teoricamente) allenare una rete neurale con meno campioni di allenamento rispetto ai pesi?

Prima di tutto: lo so, non esiste un numero generale di dimensioni del campione richieste per addestrare una rete neurale. Dipende da troppi fattori come la complessità dell'attività, il rumore nei dati e così via. E più campioni di formazione ho, migliore sarà la mia rete. Ma mi chiedevo: è …

12 neural-networks overfitting underdetermined

3

Quali algoritmi richiedono la codifica one-hot?

Non sono mai sicuro quando utilizzare la codifica one-hot per variabili categoriali non ordinate e quando non farlo. Lo uso ogni volta che l'algoritmo utilizza una metrica di distanza per calcolare la somiglianza. Qualcuno può dare una regola empirica generale su quali tipi di algoritmi richiederebbero che le caratteristiche categoriche …

12 machine-learning categorical-data categorical-encoding data-preprocessing

1

Inference Variaference, KL divergence richiede true

Per la mia (molto modesta) comprensione dell'inferenza variazionale, si cerca di approssimare una distribuzione sconosciuta trovando una distribuzione che ottimizzi quanto segue:pppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Ogni volta che investo tempo nella comprensione dell'inferenza variazionale continuo a colpire questa formula e non posso fare a meno di …

12 variational-bayes

1

Quale algoritmo di classificazione si dovrebbe usare dopo aver visto che t-SNE separa bene le classi?

Supponiamo che abbiamo un problema di classificazione e all'inizio vogliamo ottenere alcune informazioni dai dati e facciamo t-SNE. Il risultato di t-SNE separa molto bene le classi. Ciò implica che è possibile costruire un modello di classificazione che separa molto bene le classi (se t-SNE non si separa bene, non …

12 classification tsne

2

In che modo la discesa del gradiente minibatch aggiorna i pesi per ciascun esempio in un batch?

Se elaboriamo diciamo 10 esempi in un batch, capisco che possiamo sommare la perdita per ogni esempio, ma come funziona la backpropagation per quanto riguarda l'aggiornamento dei pesi per ogni esempio? Per esempio: Esempio 1 -> perdita = 2 Esempio 2 -> perdita = -2 Ciò si traduce in una …

12 neural-networks gradient-descent backpropagation tensorflow

3

Motivare le unità di uscita sigmoide nelle reti neurali a partire da probabilità log non normalizzate lineari in e

Background: sto studiando il capitolo 6 di Deep Learning di Ian Goodfellow e Yoshua Bengio e Aaron Courville. Nella sezione 6.2.2.2 (pagine 182 di 183 che possono essere visualizzate qui è motivato l'uso di sigmoid per l'output .P( y= 1 | x )P(y=1|X)P(y=1|x) Per riassumere parte del materiale lasciano z= …

12 neural-networks deep-learning

3

Esiste un grave problema con la caduta di osservazioni con valori mancanti durante il calcolo della matrice di correlazione?

Ho questo enorme set di dati con 2500 variabili e 142 osservazioni. Voglio eseguire una correlazione tra la variabile X e il resto delle variabili. Ma per molte colonne mancano voci. Ho provato a farlo in R usando l'argomento "pairwise-complete" ( use=pairwise.complete.obs) e ha prodotto un sacco di correlazioni. Ma …

12 r correlation missing-data correlation-matrix

2

Che cos'è il vincolo maxnorm? In che modo è utile nelle reti neurali convoluzionali?

Ecco un esempio di codice keras che lo utilizza: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks regularization conv-neural-network optimization

2

Keras: perché la perdita diminuisce mentre aumenta val_loss?

Ho impostato una ricerca in griglia per un gruppo di parametri. Sto cercando di trovare i parametri migliori per una rete neurale di Keras che fa una classificazione binaria. L'output è 1 o 0. Esistono circa 200 funzioni. Quando ho fatto una ricerca sulla griglia, ho avuto un sacco di …

12 machine-learning cross-validation deep-learning tensorflow theano

1

Perché lm e biglm in R forniscono valori p diversi per gli stessi dati?

Ecco un piccolo esempio: MyDf<-data.frame(x=c(1,2,3,4), y=c(1.2, .7, -.5, -3)) Ora con il base::lm: > lm(y~x, data=MyDf) %>% summary Call: lm(formula = y ~ x, data = MyDf) Residuals: 1 2 3 4 -0.47 0.41 0.59 -0.53 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 3.0500 0.8738 3.491 0.0732 . x …

12 r regression p-value linear-model