Statistiche e Big Data

1

Qual è la definizione precisa di "caso Heywood"?

Avevo usato il termine "Caso Heywood" in modo un po 'informale per riferirmi a situazioni in cui una stima online "risposta limitata" aggiornata iterativamente della varianza è diventata negativa a causa di problemi di precisione numerica. (Sto usando una variante del metodo di Welford per aggiungere dati e rimuovere dati …

15 variance factor-analysis definition online

3

Perché vengono sempre utilizzate le distribuzioni della media 0 e della deviazione standard 1?

Le mie statistiche sono state autodidatta, ma molto materiale che leggo indica un set di dati con 0 medio e deviazione standard di 1. In tal caso, allora: Perché media 0 e SD 1 sono una bella proprietà da avere? Perché una variabile casuale ricavata da questo campione equivale a …

15 probability

2

Modellazione di una distribuzione di Poisson con sovraispersione

Ho un set di dati che mi aspetto di seguire una distribuzione di Poisson, ma è sovradisperso di circa 3 volte. Al momento, sto modellando questa sovraispersione usando qualcosa come il seguente codice in R. ## assuming a median value of 1500 med = 1500 rawdist = rpois(1000000,med) oDdist = …

15 distributions modeling poisson-distribution overdispersion

1

Perché una sola ReLU non può imparare una ReLU?

Come follow-up della mia rete neurale non riesco nemmeno a imparare la distanza euclidea, ho semplificato ancora di più e ho cercato di addestrare una singola ReLU (con peso casuale) su una singola ReLU. Questa è la rete più semplice che ci sia, eppure la metà delle volte non riesce …

15 machine-learning neural-networks optimization keras

2

Calcolo degli intervalli di confidenza per una regressione logistica

Sto usando una regressione logistica binomiale per identificare se l'esposizione has_xo has_yinfluisce sulla probabilità che un utente faccia clic su qualcosa. Il mio modello è il seguente: fit = glm(formula = has_clicked ~ has_x + has_y, data=df, family = binomial()) Questo l'output dal mio modello: Call: glm(formula = has_clicked ~ …

15 regression logistic standard-error logit

4

Accettazione dell'ipotesi nulla

Questa è una domanda di discussione sull'intersezione tra statistica e altre scienze. Mi trovo spesso ad affrontare lo stesso problema: i ricercatori nel mio campo tendono a dire che non vi è alcun effetto quando il valore p non è inferiore al livello di significatività. All'inizio, ho spesso risposto che …

15 hypothesis-testing

2

Che cos'è l'errore Bayes nell'apprendimento automatico?

http://www.deeplearningbook.org/contents/ml.html Pagina 116 spiega l'errore bayes come di seguito Il modello ideale è un oracolo che conosce semplicemente la vera distribuzione di probabilità che genera i dati. Anche un modello del genere comporterà comunque un errore su molti problemi, perché potrebbe esserci ancora del rumore nella distribuzione. Nel caso dell'apprendimento …

15 machine-learning deep-learning terminology

3

Metodi per aggirare il problema della mancanza di dati nell'apprendimento automatico

Praticamente qualsiasi database che vogliamo fare previsioni usando algoritmi di machine learning troverà valori mancanti per alcune delle caratteristiche. Esistono diversi approcci per risolvere questo problema, per escludere le linee che hanno valori mancanti fino a quando non si riempiono con i valori medi delle caratteristiche. Vorrei utilizzare per un …

15 machine-learning scikit-learn data-imputation

1

Come interpretare l'entropia differenziale?

Di recente ho letto questo articolo sull'entropia di una distribuzione di probabilità discreta. Descrive un bel modo di pensare all'entropia come i bit numerici previsti (almeno quando si utilizza il log2log2\log_2 nella definizione dell'entropia) necessari per codificare un messaggio quando la codifica è ottimale, data la distribuzione di probabilità delle …

15 entropy information-theory

2

Qual è la "linea di base" nella curva di richiamo di precisione

Sto cercando di capire la curva di richiamo della precisione, capisco cosa sono la precisione e il richiamo, ma la cosa che non capisco è il valore "base". Stavo leggendo questo link https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ e non capisco la parte di base come mostrato in "Una curva di richiamo di precisione di …

15 r machine-learning classification precision-recall

3

In che modo `predict.randomForest` stima le probabilità della classe?

In che modo il randomForestpacchetto stima le probabilità della classe quando uso predict(model, data, type = "prob")? Stavo usando rangerper addestrare foreste casuali usando l' probability = Targomento per prevedere le probabilità. rangerdice nella documentazione che: Coltiva una foresta di probabilità come in Malley et al. (2012). Ho simulato alcuni …

15 r random-forest prediction

1

Quale metodo di confronto multiplo utilizzare per un modello lmer: lsmeans o glht?

Sto analizzando un set di dati usando un modello di effetti misti con un effetto fisso (condizione) e due effetti casuali (partecipante a causa del disegno e della coppia all'interno del soggetto). Il modello è stato generato conlme4 pacchetto: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Successivamente, ho eseguito un test del rapporto di verosimiglianza di …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

3

Utilità del teorema di Frisch-Waugh

Dovrei insegnare il teorema di Frish Waugh in econometria, che non ho studiato. Ho compreso la matematica e spero anche l'idea "il coefficiente che ottieni per un particolare coefficiente da un modello lineare multiplo è uguale al coefficiente del modello di regressione semplice se" elimini "l'influenza degli altri regressori". Quindi …

15 regression econometrics least-squares projection decomposition

5

È meglio eseguire analisi esplorative dei dati solo sul set di dati di formazione?

Sto eseguendo l'analisi dei dati esplorativi (EDA) su un set di dati. Quindi selezionerò alcune funzionalità per prevedere una variabile dipendente. La domanda è: devo fare l'EDA solo sul mio set di dati di addestramento? O dovrei unirmi ai set di dati di training e test insieme, quindi fare l'EDA …

15 dataset feature-selection feature-construction eda

1

Problema con parametri accidentali

Faccio sempre fatica a ottenere la vera essenza del problema dei parametri accidentali. Ho letto in diverse occasioni che gli stimatori di effetti fissi di modelli di dati di pannelli non lineari possono essere fortemente distorti a causa del problema dei parametri accidentali "ben noto". Quando chiedo una chiara spiegazione …

15 nonlinear-regression fixed-effects-model bias