Statistiche e Big Data

1

Ho addestrato due modelli (classificatori binari usando h2o AutoML) e voglio selezionarne uno da usare. Ho i seguenti risultati: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 le colonne auce loglosssono le metriche di convalida incrociata (la …

15 model-selection validation auc gini log-loss

2

È pratica comune ridurre al minimo la perdita media sui lotti anziché sulla somma?

Tensorflow ha un tutorial di esempio sulla classificazione di CIFAR-10 . Nell'esercitazione viene minimizzata la perdita media di entropia trasversale nel lotto. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: Labels from distorted_inputs or inputs(). …

15 neural-networks loss-functions tensorflow

2

Possiamo usare una variabile indipendente categoriale nell'analisi discriminante?

Nell'analisi discriminante, la variabile dipendente è categorica, ma posso usare una variabile categoriale (ad es. Stato residenziale: rurale, urbano) insieme ad altre variabili continue come variabile indipendente nell'analisi discriminante lineare?

15 logistic categorical-data discriminant-analysis regression-strategies

2

Perché la funzione bootstrap di scikit-learn ricampiona il set di test?

Quando ho utilizzato il bootstrap per la valutazione del modello, ho sempre pensato che i campioni out-of-bag fossero usati direttamente come set di test. Tuttavia, questo non sembra essere il caso dell'approccio scikit-learn deprecato , che sembra costruire il set di test dal disegno con la sostituzione dal sottoinsieme di …

15 cross-validation bootstrap random-forest scikit-learn bagging

4

Come generare dati categorici casuali?

Diciamo che ho una variabile categoriale che può assumere i valori A, B, C e D. Come posso generare 10000 punti di dati casuali e controllare la frequenza di ciascuno? Per esempio: A = 10% B = 20% C = 65% D = 5% Qualche idea su come posso farlo?

15 random-variable

2

Funzioni di influenza e OLS

Sto cercando di capire come funzionano le funzioni di influenza. Qualcuno potrebbe spiegare nel contesto di una semplice regressione OLS yi=α+β⋅xi+εiyi=α+β⋅xi+εi\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation} dove voglio la funzione influenza per .ββ\beta

15 regression least-squares

1

Qual è la "capacità" di un modello di apprendimento automatico?

Sto studiando questo tutorial su Autoencoder variabili di Carl Doersch . Nella seconda pagina si afferma: Uno dei framework più popolari è l'Autocodificatore Variazionale [1, 3], oggetto di questo tutorial. I presupposti di questo modello sono deboli e l'allenamento è rapido tramite backpropagation. I VAE fanno un'approssimazione, ma l'errore introdotto …

15 machine-learning deep-learning autoencoders variational-bayes

2

Discrepanza media massima (distribuzione della distanza)

Ho due set di dati (dati di origine e di destinazione) che seguono la diversa distribuzione. Sto usando MMD, ovvero una distribuzione di distanza non parametrica, per calcolare la distribuzione marginale tra i dati di origine e quelli di destinazione. dati di origine, Xs dati target, Xt adattamento Matrix A …

15 machine-learning distributions distance feature-construction domain-adaptation

1

RNN: quando applicare BPTT e / o aggiornare i pesi?

Sto cercando di capire l'applicazione ad alto livello di RNN per l'etichettatura in sequenza tramite (tra gli altri) il documento di Graves del 2005 sulla classificazione dei fonemi. Riassumendo il problema: disponiamo di un ampio set di formazione costituito da file audio (di input) di singole frasi e orari di …

15 lstm rnn

2

Come ottenere un intervallo di confidenza per un percentile?

Ho un sacco di valori di dati grezzi che sono importi in dollari e voglio trovare un intervallo di confidenza per un percentile di tali dati. Esiste una formula per un tale intervallo di confidenza?

15 confidence-interval quantiles tolerance-interval

2

È possibile scrivere un'equazione variabile dello strumento come un grafico aciclico diretto (DAG)?

I grafici aciclici diretti (DAG) sono rappresentazioni visive efficienti di ipotesi causali qualitative in modelli statistici, ma possono essere utilizzate per presentare una normale equazione variabile dello strumento (o altre equazioni)? Se é cosi, come? Se no, perché?

15 causality instrumental-variables dag

4

Hosting gratuito di dati di interesse pubblico? [chiuso]

Chiuso. Questa domanda è fuori tema . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per Cross Validated. Chiuso 4 anni fa . Ho rapporti di temperatura oraria e giornaliera per molte stazioni su http://data.barrycarter.info/ Incoraggio le persone a scaricarlo, …

14 dataset

1

Perché dovrebbero scegliere una distribuzione gamma qui?

In uno degli esercizi per il mio corso, stiamo usando un set di dati medici Kaggle . L'esercizio dice: vogliamo modellare la distribuzione dei singoli addebiti e vogliamo anche davvero essere in grado di catturare la nostra incertezza su tale distribuzione in modo da poter meglio catturare l'intervallo di valori …

14 gamma-distribution

3

Come misurare la "distanza" statistica tra due distribuzioni di frequenza?

Sto intraprendendo un progetto di analisi dei dati che prevede lo studio dei tempi di utilizzo del sito Web nel corso dell'anno. Quello che vorrei fare è confrontare quanto "coerenti" sono i modelli di utilizzo, diciamo, quanto sono vicini a un modello che comporta l'utilizzo per 1 ora una volta …

14 distributions distance frequency comparison

2

Wolfram Mathworld commette un errore descrivendo una distribuzione di probabilità discreta con una funzione di densità di probabilità?

Di solito una distribuzione di probabilità su variabili discrete è descritta usando una funzione di massa di probabilità (PMF): Quando si lavora con variabili casuali continue, descriviamo le distribuzioni di probabilità utilizzando una funzione di densità di probabilità (PDF) anziché una funzione di massa di probabilità. - Deep Learning di …

14 probability mathematical-statistics terminology pdf