Statistiche e Big Data

2

Perché ridurre al minimo il MAE porta a prevedere la mediana e non la media?

Dal libro di previsione: principi e pratica di Rob J Hyndman e George Athanasopoulos , in particolare la sezione sulla misurazione della precisione : Un metodo di previsione che minimizza il MAE porterà a previsioni della mediana, mentre minimizzare il RMSE porterà a previsioni della media Qualcuno può dare una …

20 forecasting mean median rms mae

2

Bayesiano pensa al sovradimensionamento

Ho dedicato molto tempo allo sviluppo di metodi e software per la validazione di modelli predittivi nel tradizionale dominio statistico frequentista. Nel mettere in pratica più idee bayesiane e nell'insegnamento vedo alcune differenze chiave da abbracciare. In primo luogo, la modellazione predittiva bayesiana chiede all'analista di riflettere attentamente sulle distribuzioni …

20 bayesian cross-validation predictive-models validation regression-strategies

5

Perché l'ingegneria delle funzioni funziona?

Recentemente ho imparato che uno dei modi per trovare soluzioni migliori per i problemi di ML è attraverso la creazione di funzionalità. Si può fare per esempio sommando due funzionalità. Ad esempio, possediamo due caratteristiche: "attacco" e "difesa" di un qualche tipo di eroe. Creiamo quindi funzionalità aggiuntive chiamate "totale" …

20 machine-learning feature-construction

1

Differenza tra dati mancanti e dati sparsi negli algoritmi di machine learning

Quali sono le principali differenze tra dati sparsi e dati mancanti? E come influenza l'apprendimento automatico? Più specificamente, quale effetto hanno i dati sparsi e quelli mancanti sugli algoritmi di classificazione e sul tipo di algoritmo di regressione (numeri predittivi). Sto parlando di una situazione in cui la percentuale di …

20 machine-learning dataset missing-data sparse

2

Che senso ha fare OLS dopo la selezione delle variabili LASSO?

Recentemente ho scoperto che nella letteratura di econometria applicata, quando si affrontano i problemi di selezione delle caratteristiche, non è raro eseguire LASSO seguito da una regressione OLS usando le variabili selezionate. Mi chiedevo come possiamo qualificare la validità di tale procedura. Causerà problemi come le variabili omesse? Qualche prova …

20 regression feature-selection econometrics least-squares lasso

2

Quali sono / sono i priori impliciti nelle statistiche frequentiste?

Ho sentito l'idea che Jaynes afferma che i frequentatori operano con un "precedente implicito". Che cosa sono o sono questi priori impliciti? Questo significa che i modelli frequentisti sono tutti casi speciali di modelli bayesiani che aspettano di essere trovati?

20 bayesian prior posterior frequentist

3

Come utilizzare l'arresto anticipato correttamente per allenare una rete neurale profonda?

Ho un modello di rete neurale profondo e ho bisogno di addestrarlo sul mio set di dati che comprende circa 100.000 esempi, i miei dati di validazione contengono circa 1000 esempi. Poiché ci vuole tempo per addestrare ogni esempio (circa 0,5 secondi per ogni esempio) e per evitare un eccesso …

20 neural-networks deep-learning

2

Dalla distribuzione uniforme alla distribuzione esponenziale e viceversa

Questa è probabilmente una domanda banale, ma la mia ricerca è stata infruttuosa finora, tra cui questo articolo di Wikipedia , e il "Compendio della Distribuzioni" del documento . Se XXX ha una distribuzione uniforme, significa che segue una distribuzione esponenziale?eXeXe^X Allo stesso modo, se segue una distribuzione esponenziale, significaYYYln(Y)ln(Y)ln(Y) …

20 distributions data-transformation exponential uniform

4

Differenza tra feedback RNN e LSTM / GRU

Sto cercando di comprendere diverse architetture di reti neurali ricorrenti (RNN) da applicare ai dati delle serie temporali e mi sto confondendo un po 'con i diversi nomi che vengono frequentemente utilizzati nella descrizione di RNN. La struttura della memoria a breve termine (LSTM) e della Gated Recurrent Unit (GRU) …

20 neural-networks lstm rnn

2

Cosa c'è in un nome: precisione (inversa della varianza)

Intuitivamente, la media è solo la media delle osservazioni. La varianza è quanto queste osservazioni variano dalla media. Vorrei sapere perché l'inverso della varianza è conosciuta come precisione. Quale intuizione possiamo fare da questo? E perché la matrice di precisione è utile quanto la matrice di covarianza nella distribuzione multivariata …

20 normal-distribution multivariate-analysis terminology intuition

2

Nelle reti neurali, perché usare metodi a gradiente piuttosto che altre metaeuristiche?

Nell'addestramento di reti neurali profonde e superficiali, perché sono comunemente usati i metodi a gradiente (ad es. Discesa a gradiente, Nesterov, Newton-Raphson) rispetto ad altre metaeuristiche? Per metaeuristica intendo metodi come ricottura simulata, ottimizzazione delle colonie di formiche, ecc., Che sono stati sviluppati per evitare di rimanere bloccati in un …

20 neural-networks optimization deep-learning gradient-descent backpropagation

1

Come LDA, una tecnica di classificazione, funge anche da tecnica di riduzione della dimensionalità come la PCA

In questo articolo , l'autore collega l'analisi discriminante lineare (LDA) all'analisi dei componenti principali (PCA). Con le mie conoscenze limitate, non sono in grado di seguire come LDA possa essere in qualche modo simile alla PCA. Ho sempre pensato che la LDA fosse una forma di algoritmo di classificazione, simile …

20 classification pca dimensionality-reduction discriminant-analysis canonical-correlation

2

Quali metodi di ottimizzazione funzionano meglio per gli LSTM?

Ho usato theano per sperimentare LSTM e mi chiedevo quali metodi di ottimizzazione (SGD, Adagrad, Adadelta, RMSprop, Adam, ecc.) Funzionino meglio per gli LSTM? Ci sono articoli di ricerca su questo argomento? Inoltre, la risposta dipende dal tipo di applicazione per cui sto usando LSTM? In tal caso, sto usando …

20 machine-learning neural-networks optimization lstm

2

Comprensione della derivazione del trade-bias varianza

Sto leggendo il capitolo del compromesso di bias varianza di Gli elementi dell'apprendimento statistico e ho dei dubbi nella formula a pagina 29. Lascia che i dati derivino da un modello tale che Y=f(x)+ϵY=f(x)+ϵ Y = f(x)+\epsilon dove ϵϵ\epsilon è un numero casuale con valore atteso ε = e [ …

20 machine-learning unbiased-estimator mse bias-variance-tradeoff

2

Grafici residui: perché il diagramma rispetto ai valori adattati, non ai valori osservati ?

Nel contesto della regressione OLS, capisco che un diagramma residuo (rispetto ai valori adattati) è convenzionalmente considerato per verificare la varianza costante e valutare le specifiche del modello. Perché i residui vengono tracciati rispetto agli accoppiamenti e non ai valori ? In che modo le informazioni differiscono da queste due …

20 regression residuals