Statistiche e Big Data

Questo tipo di grafico ha un nome? Ancora più importante, c'è qualche libreria di visualizzazione che posso usare per produrlo? http://www.nytimes.com/interactive/2007/12/15/us/politics/DEBATE.html

18 data-visualization 

Attualmente sto usando l'allenamento di Viterbi per un problema di segmentazione delle immagini. Volevo sapere quali sono i vantaggi / gli svantaggi dell'utilizzo dell'algoritmo Baum-Welch invece dell'allenamento di Viterbi.

18 machine-learning  hidden-markov-model  image-processing  viterbi-algorithm  baum-welch 

Ho incontrato alcuni statistici che non usano mai modelli diversi dalla regressione lineare per la previsione perché ritengono che "modelli ML" come la foresta casuale o il potenziamento del gradiente siano difficili da spiegare o "non interpretabili". In una regressione lineare, dato che l'insieme di ipotesi è verificato (normalità degli …

18 regression  machine-learning  multiple-regression  model-interpretation 

Questo è il mio frame di dati: Group <- c("G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3") Subject <- c("S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15","S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15","S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15") Value <- c(9.832217741,13.62390117,13.19671612,14.68552076,9.26683366,11.67886655,14.65083473,12.20969772,11.58494621,13.58474896,12.49053635,10.28208078,12.21945867,12.58276212,15.42648969,9.466436017,11.46582655,10.78725485,10.66159358,10.86701127,12.97863424,12.85276916,8.672953949,10.44587257,13.62135205,13.64038394,12.45778874,8.655142642,10.65925259,13.18336949,11.96595556,13.5552118,11.8337142,14.01763101,11.37502161,14.14801305,13.21640866,9.141392359,11.65848845,14.20350364,14.1829714,11.26202565,11.98431285,13.77216009,11.57303893) data <- data.frame(Group, Subject, Value) Quindi eseguo un modello di effetti lineari misti per confrontare la differenza dei 3 gruppi su "Valore", dove "Oggetto" è il fattore casuale: library(lme4) library(lmerTest) model <- lmer (Value~Group …

18 r  lme4-nlme  post-hoc 

Qual è la complessità temporale dell'algoritmo k -NN con approccio di ricerca ingenuo (nessun albero kd o simili)? Sono interessato alla sua complessità temporale considerando anche l'iperparametro k . Ho trovato risposte contraddittorie: O (nd + kn), dove n è la cardinalità dell'insieme formazione e d la dimensione di ogni …

18 k-nearest-neighbour  time-complexity 

Immagino che questa sia una domanda di base e abbia a che fare con la direzione del gradiente stesso, ma sto cercando esempi in cui i metodi del 2 ° ordine (ad es. BFGS ) sono più efficaci della semplice discesa del gradiente.

18 optimization 

Supponiamo che una moneta giusta venga lanciata ripetutamente fino a quando non si ottiene una testa per la prima volta. Qual è il numero previsto di lanci che saranno richiesti? Qual è il numero atteso di code che saranno ottenute prima di ottenere la prima testa?

18 probability  self-study  expected-value  bernoulli-distribution  geometric-distribution 

Consideriamo le seguenti due distribuzioni di probabilità P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Ho calcolato la divergenza di Kullback-Leibler che è uguale a 0.4928202580.4928202580.492820258 , voglio sapere in generale cosa mi mostra questo numero? Generalmente, la …

18 interpretation  information-theory  kullback-leibler 

Voglio davvero conoscere le tecniche bayesiane, quindi ho cercato di insegnarmi un po '. Tuttavia, ho difficoltà a vedere quando si usano le tecniche bayesiane per conferire un vantaggio ai metodi frequentisti. Ad esempio: ho visto in letteratura un po 'su come alcuni usano priori informativi mentre altri usano prima …

18 bayesian  frequentist 

Sto lavorando a dati gravemente squilibrati. In letteratura, vengono utilizzati diversi metodi per riequilibrare i dati utilizzando il ricampionamento (sovra o sottocampionamento). Due buoni approcci sono: SMOTE: Tecnica di sovracampionamento di minoranza sintetica ( SMOTE ) ADASYN: Approccio di campionamento sintetico adattivo per l'apprendimento sbilanciato ( ADASYN ) Ho implementato …

18 classification  dataset  resampling  unbalanced-classes  oversampling 

Contesto : regressione gerarchica con alcuni dati mancanti. Domanda : Come posso utilizzare la stima della massima verosimiglianza con le informazioni complete (FIML) per affrontare i dati mancanti in R? Esiste un pacchetto che consiglieresti e quali sono i passaggi tipici? Anche le risorse e gli esempi online sarebbero di …

18 r  maximum-likelihood  missing-data 

Sia X1,…,Xk+1X1,…,Xk+1X_1,\dots,X_{k+1} variabili variabili casuali indipendenti, ognuna con una distribuzione gamma con parametri αi,i=1,2,…,k+1αi,i=1,2,…,k+1\alpha_i,i=1,2,\dots,k+1 mostrano che , hanno una distribuzione congiunta comeYi=XiX1+⋯+Xk+1,i=1,…,kYi=XiX1+⋯+Xk+1,i=1,…,kY_i=\frac{X_i}{X_1+\cdots+X_{k+1}},i=1,\dots,kDirichlet(α1,α2,…,αk;αk+1)Dirichlet(α1,α2,…,αk;αk+1)\text{Dirichlet}(\alpha_1,\alpha_2,\dots,\alpha_k;\alpha_{k+1}) PDF congiunto di Quindi trovare pdf di Non riesco a trovare jacobian, cioè(X1,…,Xk+1)=e−∑k+1i=1xixα1−11…xαk+1−1k+1Γ(α1)Γ(α2)…Γ(αk+1)(X1,…,Xk+1)=e−∑i=1k+1xix1α1−1…xk+1αk+1−1Γ(α1)Γ(α2)…Γ(αk+1)(X_1,\dots,X_{k+1})=\frac{e^{-\sum_{i=1}^{k+1}x_i}x_1^{\alpha_1-1}\dots x_{k+1}^{\alpha_{k+1}-1}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots \Gamma(\alpha_{k+1})}(Y1,…,Yk+1)(Y1,…,Yk+1)(Y_1,\dots,Y_{k+1})J(x1,…,xk+1y1,…,yk+1)J(x1,…,xk+1y1,…,yk+1)J(\frac{x_1,\dots,x_{k+1}}{y_1,\dots,y_{k+1}})

18 self-study  multivariate-analysis  gamma-distribution  dirichlet-distribution 

I libri di testo in genere hanno dei bei esempi delle basi per spline uniformi quando spiegano l'argomento. Qualcosa come una fila di piccoli triangoli per una spline lineare o una fila di piccole gobbe per una spline cubica. Questo è un tipico esempio: http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_introcom_a0000000525.htm Mi chiedo se esiste un …

18 data-visualization  splines 

Mi rendo conto che questa è una domanda molto semplice, ma non riesco a trovare una risposta da nessuna parte. Sto calcolando i coefficienti di regressione usando le equazioni normali o la decomposizione QR. Come posso calcolare gli errori standard per ciascun coefficiente? Di solito penso che gli errori standard …

18 standard-error  regression-coefficients 

Non so se questo è stato chiesto prima, ma non ho trovato nulla al riguardo. La mia domanda è se qualcuno può fornire un buon riferimento per imparare come ottenere la proporzione di varianza spiegata da ciascuno dei fattori fissi e casuali in un modello a effetti misti.

18 mixed-model  variance