Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

4
Insidie ​​da evitare durante la trasformazione dei dati?
Ho raggiunto una forte relazione lineare tra la mia variabile XXX e dopo aver trasformato doppiamente la risposta. Il modello era ma l'ho trasformato in migliorando da .19 a .76.YYYY∼XY∼XY\sim XYX−−√∼X−−√YX∼X\sqrt{\frac{Y}{X}}\sim \sqrt{X}R2R2R^2 Chiaramente ho fatto un discreto intervento chirurgico su questa relazione. Qualcuno può discutere le insidie ​​di farlo, come …
2
Le distribuzioni di campionamento sono legittime per deduzione?
Alcuni bayesiani attaccano l'inferenza del frequentatore affermando che "non esiste una distribuzione campionaria unica" perché dipende dalle intenzioni del ricercatore (Kruschke, Aguinis e Joo, 2012, p. 733). Ad esempio, supponiamo che un ricercatore inizi la raccolta dei dati, ma il suo finanziamento è stato inaspettatamente tagliato dopo 40 partecipanti. Come …
1
Qual è l'intuizione dietro i campioni scambiabili sotto l'ipotesi nulla?
I test di permutazione (chiamati anche test di randomizzazione, test di ri-randomizzazione o test esatto) sono molto utili e sono utili quando l'assunzione della distribuzione normale richiesta da per esempio t-testnon è soddisfatta e quando la trasformazione dei valori per classifica del test non parametrici come Mann-Whitney-U-testquesto porterebbero alla perdita …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 
2
Stima ARIMA a mano
Sto cercando di capire come vengono stimati i parametri nella modellazione ARIMA / Box Jenkins (BJ). Sfortunatamente nessuno dei libri che ho incontrato descrive in dettaglio la procedura di stima come la procedura di stima Log-Likelihood. Ho trovato il sito web / materiale didattico molto utile. Di seguito è riportata …
1
Interpretazione dei grafici a traccia delle variabili LASSO
Sono nuovo nel glmnetpacchetto e non sono ancora sicuro di come interpretare i risultati. Qualcuno potrebbe aiutarmi a leggere il seguente diagramma di traccia? Il grafico è stato ottenuto eseguendo quanto segue: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), ncol=num.factors) model <- cv.glmnet(data, return, standardize=TRUE) op <- …
2
Legge della varianza totale come teorema di Pitagora
Supponiamo che XXX e YYY abbiano un secondo momento finito. Nello spazio di Hilbert di variabili casuali con secondo momento finito (con prodotto interno di T1,T2T1,T2T_1,T_2 definito da , ), possiamo interpretare come la proiezione sullo spazio di funzioni di .E(T1T2)E(T1T2)E(T_1T_2)||T||2=E(T2)||T||2=E(T2)||T||^2=E(T^2)E(Y|X)E(Y|X)E(Y|X)YYYXXX Sappiamo anche che la Legge della varianza totale legge …
2
Piatti, coniugati e iper priori. Quali sono?
Attualmente sto leggendo dei metodi bayesiani nell'evoluzione molecolare computazionale di Yang. Nella sezione 5.2 parla di priori e in particolare di Non informativo / piatto / vago / diffuso, coniugato e iper priori. Ciò potrebbe richiedere una semplificazione eccessiva, ma qualcuno potrebbe spiegare semplicemente la differenza tra questi tipi di …
15 bayesian  prior 
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.