Statistiche e Big Data

Ho cercato di scoprire quali distribuzioni usare nei GLM e sono un po 'confuso su quando usare la distribuzione normale. In una parte del mio libro di testo, si dice che una distribuzione normale potrebbe essere utile per modellare i punteggi degli esami. Nella parte successiva, si chiede quale distribuzione …

13 normal-distribution  generalized-linear-model  gamma-distribution  inverse-gaussian-distrib 

Ho notato che in molte applicazioni pratiche, i metodi basati su MCMC vengono utilizzati per stimare un parametro anche se il posteriore è analitico (ad esempio perché i priori erano coniugati). Per me ha più senso usare stimatori MAP piuttosto che stimatori basati su MCMC. Qualcuno potrebbe sottolineare perché MCMC …

13 bayesian  mcmc  posterior 

Sto leggendo la migliore selezione di sottoinsiemi nel libro Elementi di apprendimento statistico. Se ho 3 predittori , creo sottoinsiemi:x1,x2,x3X1,X2,X3x_1,x_2,x_323=823=82^3=8 Sottoinsieme senza predittori sottoinsieme con predittorex1X1x_1 sottoinsieme con predittorex2X2x_2 sottoinsieme con predittorex3x3x_3 sottoinsieme con predittorix1,x2x1,x2x_1,x_2 sottoinsieme con predittorix1,x3x1,x3x_1,x_3 sottoinsieme con predittorix2,x3x2,x3x_2,x_3 sottoinsieme con predittorix1,x2,x3x1,x2,x3x_1,x_2,x_3 Quindi collaudo tutti questi modelli sui …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

Penso che questo sia un po 'di base, ma dire che ho una variabile casuale XXX , la probabilità P(X≤a)P(X≤a)P(X \leq a) uguale a P(f(X)≤f(a))P(f(X)≤f(a))P(f(X) \leq f(a)) per qualsiasi funzione continua con valore reale fff ?

13 probability  distributions 

Se tutto ciò che stai facendo è ricampionare dalla distribuzione empirica, perché non studiare la distribuzione empirica? Ad esempio, invece di studiare la variabilità mediante campionamenti ripetuti, perché non quantificare semplicemente la variabilità dalla distribuzione empirica?

13 machine-learning  mathematical-statistics  sampling  bootstrap  resampling 

In molti articoli che considerano trattamenti e risultati, vedo tabelle (di solito "tabella 1") di quelle che potrebbero essere chiamate variabili fastidiose (spesso dati demografici, a volte condizioni mediche) con test di significatività e testi come "i gruppi erano sostanzialmente simili, lì non c'erano differenze significative su XXXXX, vedere la …

13 equivalence  controlling-for-a-variable 

Esiste una distribuzione o posso lavorare da un'altra distribuzione per creare una distribuzione come quella nell'immagine qui sotto (scuse per i cattivi disegni)? dove do un numero (0,2, 0,5 e 0,9 negli esempi) per dove dovrebbe essere il picco e una deviazione standard (sigma) che rende la funzione più ampia …

13 distributions  normal-distribution 

Sia e quattro variabili casuali tali che , dove sono parametri sconosciuti. Supponi anche che ,Allora quale è vero?Y1,Y2,Y3Y1,Y2,Y3Y_1,Y_2,Y_3Y4Y4Y_4E(Y1)=θ1−θ3; E(Y2)=θ1+θ2−θ3; E(Y3)=θ1−θ3; E(Y4)=θ1−θ2−θ3E(Y1)=θ1−θ3; E(Y2)=θ1+θ2−θ3; E(Y3)=θ1−θ3; E(Y4)=θ1−θ2−θ3E(Y_1)=\theta_1-\theta_3;\space\space E(Y_2)=\theta_1+\theta_2-\theta_3;\space\space E(Y_3)=\theta_1-\theta_3;\space\space E(Y_4)=\theta_1-\theta_2-\theta_3θ1,θ2,θ3θ1,θ2,θ3\theta_1,\theta_2,\theta_3Var(Yi)=σ2Var(Yi)=σ2Var(Y_i)=\sigma^2i=1,2,3,4.i=1,2,3,4.i=1,2,3,4. A. sono stimabili.θ1,θ2,θ3θ1,θ2,θ3\theta_1,\theta_2,\theta_3 B. è stimabile.θ1+θ3θ1+θ3\theta_1+\theta_3 C. è stimabile e è la migliore stima imparziale lineare di .θ1−θ3θ1−θ3\theta_1-\theta_312(Y1+Y3)12(Y1+Y3)\dfrac{1}{2}(Y_1+Y_3)θ1−θ3θ1−θ3\theta_1-\theta_3 D. è stimabile.θ2θ2\theta_2 La …

13 self-study  estimation  inference 

Una misura comune utilizzata per confrontare due o più modelli di classificazione è utilizzare l'area sotto la curva ROC (AUC) come modo per valutare indirettamente le loro prestazioni. In questo caso, un modello con una AUC più grande viene generalmente interpretato come performante di un modello con una AUC più …

13 machine-learning  classification  roc  auc  model-evaluation 

Sto usando una sceneggiatura. È per i record di base. Ho un dataframe che mostra le diverse composizioni elementali nelle colonne su una data profondità (nella prima colonna). Voglio eseguire un PCA con esso e sono confuso riguardo al metodo di standardizzazione che devo scegliere. Qualcuno di voi ha usato …

13 r  pca  normalization  compositional-data 

Che cos'è il deep learning bayesiano e in che modo si collega alle statistiche bayesiane tradizionali e al deep learning tradizionale? Quali sono i concetti e la matematica principali coinvolti? Potrei dire che sono solo statistiche bayesiane non parametriche? Quali sono le sue opere fondamentali, nonché i suoi attuali sviluppi …

13 bayesian  deep-learning 

Ultimamente, ho dovuto leggere diversi articoli in economia (un campo che non conosco troppo). Una cosa che ho notato è che anche quando la variabile di risposta è binaria, i modelli di regressione lineare montati utilizzando OLS sono onnipresenti. La mia domanda è quindi: Perché la regressione lineare è favorita, …

13 regression  logistic  econometrics 

Abbiamo a che fare con la distribuzione lognormale in un corso di finanza e il mio libro di testo afferma semplicemente che questo è vero, che trovo frustrante poiché il mio background in matematica non è molto forte ma voglio l'intuizione. Qualcuno può mostrarmi perché questo è il caso?

13 distributions  expected-value  lognormal 

Douglas Bates afferma che i seguenti modelli sono equivalenti "se la matrice varianza-covarianza per gli effetti casuali con valori vettoriali ha una forma speciale, chiamata simmetria composta" ( diapositiva 91 in questa presentazione ): m1 <- lmer(y ~ factor + (0 + factor|group), data) m2 <- lmer(y ~ factor + …

13 r  anova  mixed-model  repeated-measures  lme4-nlme 

Stavo leggendo questa domanda riguardo alla regressione su larga scala ( link ) in cui whuber ha sottolineato un punto interessante come segue: "Quasi tutti i test statistici che esegui saranno così potenti che è quasi sicuro di identificare un effetto" significativo ". Devi concentrarti molto di più sull'importanza statistica, …

13 regression  statistical-significance