Statistiche e Big Data

Per quanto mi riguarda, il calcolo approssimativo bayesiano (ABC) e la catena di Markov Monte Carlo (MCMC) hanno obiettivi molto simili. Di seguito descrivo la mia comprensione di questi metodi e come percepisco le differenze nella loro applicazione ai dati della vita reale. Calcolo bayesiano approssimativo L'ABC consiste nel campionare …

15 bayesian  mcmc  computational-statistics 

La domanda del CV Sto cercando di fornire una (a) rappresentazione matematica dettagliata e concisa di un modello di effetti misti. Sto usando il lme4pacchetto in R. Qual è la rappresentazione matematica corretta per il mio modello? I dati, la domanda scientifica e il codice R. Il mio set di …

15 r  mixed-model  multilevel-analysis  lme4-nlme 

Qual è il numero previsto di volte in cui devi tirare un dado fino a quando ogni lato non appare 3 volte? Questa domanda è stata posta nella scuola elementare della Nuova Zelanda ed è stata risolta utilizzando simulazioni. Qual è la soluzione analitica per questo problema?

15 probability  multinomial  negative-binomial  coupon-collector-problem 

Sto intervistando persone per una posizione di sviluppatore / ricercatore di algoritmi in un contesto di statistiche / apprendimento automatico / data mining. Sto cercando domande da porre per determinare, in particolare, la familiarità, la comprensione e la fluidità di un candidato con la teoria di base, ad esempio proprietà …

15 machine-learning  probability  distributions 

La mia domanda di base è: come campioneresti da una distribuzione impropria? Ha anche senso campionare da una distribuzione impropria? Il commento di Xi'an qui affronta in qualche modo la domanda, ma stavo cercando qualche dettaglio in più su questo. Più specifico per MCMC: Parlando di MCMC e leggendo articoli, …

15 distributions  bayesian  mcmc  markov-process  improper-prior 

Dopo aver letto questo post sul blog sui modelli strutturali delle serie temporali bayesiane, ho voluto esaminare l'implementazione nel contesto di un problema per il quale avevo precedentemente utilizzato ARIMA. Ho alcuni dati con alcuni componenti stagionali noti (ma rumorosi) - ci sono sicuramente componenti annuali, mensili e settimanali a …

15 r  time-series  bayesian  mcmc  bsts 

Ho un problema a capire perché l'inferenza bayesiana porta a problemi intrattabili. Il problema viene spesso spiegato in questo modo: Quello che non capisco è perché questo integrale debba essere valutato in primo luogo: mi sembra che il risultato dell'integrale sia semplicemente una costante di normalizzazione (come viene dato il …

15 bayesian  inference 

Sono abbastanza nuovo per le foreste casuali. In passato, ho sempre confrontato l'accuratezza di adattamento vs test rispetto a adattamento vs treno per rilevare eventuali eccessi. Ma ho appena letto qui che: "Nelle foreste casuali, non è necessaria la convalida incrociata o un set di test separato per ottenere una …

15 cross-validation  random-forest  overfitting 

Ho appena letto questo articolo della BBC sul formato di qualificazione in Formula 1. Gli organizzatori desiderano rendere le previsioni meno prevedibili, ovvero aumentare la variazione statistica del risultato. Riflettendo su alcuni dettagli irrilevanti, al momento i piloti sono classificati in base al loro miglior giro singolo da (per concretezza) …

15 variance 

Oggi stavo giocando con un piccolo set di dati e ho eseguito una semplice regressione OLS che mi aspettavo di fallire a causa della perfetta multicollinearità. Tuttavia, non lo fece. Ciò implica che la mia comprensione della multicollinearità è errata. La mia domanda è: dove sbaglio? Penso di poter dimostrare …

15 multiple-regression  least-squares  multicollinearity 

Supponiamo di avere un processo di Bernoulli con probabilità di fallimento (che sarà piccola, diciamo, q ≤ 0,01 ) da cui campioniamo fino a quando non incontriamo 10 guasti. Stimiamo così la probabilità di fallimento come q : = 10 / N , dove N è il numero di campioni.qqqq≤0.01q≤0.01q …

15 estimation  bernoulli-distribution 

Attualmente sto cercando di applicare un modello lineare ( family = gaussian) a un indicatore di biodiversità che non può assumere valori inferiori a zero, è gonfiato a zero ed è continuo. I valori vanno da 0 a poco più di 0,25. Di conseguenza, esiste un modello abbastanza evidente nei …

15 regression  zero-inflation  tobit-regression  tweedie-distribution 

Ho studiato le statistiche di molti libri negli ultimi 3 anni e grazie a questo sito ho imparato molto. Tuttavia una domanda fondamentale rimane ancora senza risposta per me. Potrebbe avere una risposta molto semplice o molto difficile, ma so per certo che richiede una profonda comprensione delle statistiche. Quando …

15 modeling  inference  aic 

Nel libro "Biostatistica per i manichini" a pagina 40 leggo: L'errore standard (abbreviato SE) è un modo per indicare la precisione della stima o della misurazione di qualcosa. e Gli intervalli di confidenza forniscono un altro modo per indicare la precisione di una stima o misurazione di qualcosa. Ma non …

15 confidence-interval  standard-error  measurement-error  accuracy 

Supponiamo che X1,X2,...,XnX1,X2,...,XnX_1, X_2,...,X_n è tra N(μ,σ2)N(μ,σ2)N(\mu,\sigma^2) con sconosciuto ∈ Rμ∈Rμ∈R\mu \in \mathcal R e σ2>0σ2>0\sigma^2>0 Sia Z=X1−X¯S,Z=X1−X¯S,Z=\frac{X_1-\bar{X}}{S},S è la deviazione standard qui. Si può dimostrare che ZZZ ha il pdf di Lebesgue f(z)=n−−√Γ(n−12)π−−√(n−1)Γ(n−22)[1−nz2(n−1)2]n/2−2I(0,(n−1)/n√)(|Z|)f(z)=nΓ(n−12)π(n−1)Γ(n−22)[1−nz2(n−1)2]n/2−2I(0,(n−1)/n)(|Z|)f(z)=\frac{\sqrt{n} \Gamma\left(\frac{n-1}{2}\right)}{\sqrt{\pi}(n-1)\Gamma\left(\frac{n-2}{2}\right)}\left[1-\frac{nz^2}{(n-1)^2}\right]^{n/2-2}I_{(0,(n-1)/\sqrt{n})}(|Z|) La mia domanda è quindi come ottenere questo pdf? La domanda è da qui nell'esempio …

15 self-study  umvue