Statistiche e Big Data

In un caso multivariato di valore reale, c'è un modo per campionare uniformemente i punti dalla superficie in cui la distanza di Mahalanobis dalla media di è una costante? EDIT: questo si riduce ai punti di campionamento uniformemente dalla superficie di un iper-ellissoide che soddisfa l'equazione, ( x - μ …

12 random-generation  uniform 

In un recente articolo Norton et al. (2018) afferma che[ 1 ][1]^{[1]} Rapporti di probabilità diversi dello stesso studio non possono essere confrontati quando i modelli statistici che danno luogo a stime del rapporto di probabilità hanno variabili esplicative diverse perché ogni modello ha un diverso fattore di ridimensionamento arbitrario. …

12 r  logistic  meta-analysis  odds-ratio  adjustment 

Per calcolare le previsioni medie del modello sulla scala di risposta di un GLM, che è "corretto" e perché? Calcola la previsione media del modello sulla scala del collegamento e poi torna indietro alla scala della risposta, oppure Indietro trasforma le previsioni nella scala di risposta e quindi calcola la …

12 generalized-linear-model  model-averaging 

Il teorema di Halmos-Savage afferma che per un modello statistico dominato una statistica è sufficiente se (e solo se) per tutti esiste una versione misurabile del derivato Radon Nikodym dove è un misura privilegiata tale che per e .(Ω,A,P)(Ω,A,P)(\Omega, \mathscr A, \mathscr P)T:(Ω,A,P)→(Ω′,A′)T:(Ω,A,P)→(Ω′,A′)T: (\Omega, \mathscr A, \mathscr P)\to(\Omega', \mathscr A'){P∈P}{P∈P}\{P …

12 probability  mathematical-statistics  intuition  measure-theory 

Attualmente sto cercando di avvolgere la mia testa attorno alla matematica t-SNE . Sfortunatamente, c'è ancora una domanda a cui non posso rispondere in modo soddisfacente: qual è il significato effettivo degli assi in un grafico t-SNE? Se dovessi fare una presentazione su questo argomento o includerlo in qualsiasi pubblicazione: …

12 machine-learning  dimensionality-reduction  tsne 

Sto eseguendo un modello di regressione di Poisson con 1 variabile di risposta e 6 covariate. La selezione del modello mediante AIC produce un modello con tutte le covariate e 6 termini di interazione. Il BIC risulta tuttavia in un modello con solo 2 covariate e senza termini di interazione. …

12 model-selection  aic  poisson-regression  bic 

Test come Z, t e molti altri presuppongono che i dati siano basati su un campionamento casuale. Perché? Supponiamo che stia facendo ricerche sperimentali, dove mi preoccupo molto più della validità interna che di quella esterna. Quindi, se il mio campione potrebbe essere un po 'distorto, va bene, dato che …

12 hypothesis-testing  sampling  parametric  randomness 

Ho studiato statistica anni fa e ho dimenticato tutto, quindi possono sembrare domande concettuali generali piuttosto che qualcosa di specifico, ma ecco il mio problema. Lavoro per un sito di e-commerce come UX Designer. Abbiamo un framework di test A / B che è stato costruito anni fa di cui …

12 hypothesis-testing  sample-size  sequential-analysis 

Immagina di avere due processi di serie temporali, che sono fissi, producendo: .Xt, ytxt,ytx_t,y_t È , stazionaria anche? ∀ α , β ∈ Rzt= α xt+ βytzt=αxt+βytz_t=\alpha x_t +\beta y_t∀ α , β∈ R∀α,β∈R\forall \alpha, \beta \in \mathbb{R} Qualsiasi aiuto sarebbe apprezzato. Direi di sì, dal momento che ha una …

12 time-series  stochastic-processes  stationarity 

Contesto Un gruppo di scienziati e statistici sociali ( Benjamin et al., 2017 ) ha recentemente suggerito che il tipico tasso di falsi positivi ( = .05) usato come soglia per determinare "significatività statistica" deve essere adeguato a una soglia più conservativa ( = .005). Un gruppo in competizione di …

12 hypothesis-testing  p-value  power  type-i-and-ii-errors 

XXX e sono variabili casuali distribuite indipendentemente in cui e . Qual è la distribuzione di ?YYYX∼χ2(n−1)X∼χ(n−1)2X\sim\chi^2_{(n-1)}Y∼Beta(n2−1,n2−1)Y∼Beta(n2−1,n2−1)Y\sim\text{Beta}\left(\frac{n}{2}-1,\frac{n}{2}-1\right)Z=(2Y−1)X−−√Z=(2Y−1)XZ=(2Y-1)\sqrt X La densità articolare di è data da(X,Y)(X,Y)(X,Y) fX,Y(x,y)=fX(x)fY(y)=e−x2xn−12−12n−12Γ(n−12)⋅yn2−2(1−y)n2−2B(n2−1,n2−1)1{x>0,0<y<1}fX,Y(x,y)=fX(x)fY(y)=e−x2xn−12−12n−12Γ(n−12)⋅yn2−2(1−y)n2−2B(n2−1,n2−1)1{x>0,0<y<1}f_{X,Y}(x,y)=f_X(x)f_Y(y)=\frac{e^{-\frac{x}{2}}x^{\frac{n-1}{2}-1}}{2^{\frac{n-1}{2}}\Gamma\left(\frac{n-1}{2}\right)}\cdot\frac{y^{\frac{n}{2}-2}(1-y)^{\frac{n}{2}-2}}{B\left(\frac{n}{2}-1,\frac{n}{2}-1\right)}\mathbf1_{\{x>0\,,\,00\,,\,|z|

12 self-study  distributions  mathematical-statistics  random-variable 

La normalizzazione in lotti è stata accreditata con sostanziali miglioramenti delle prestazioni nelle reti neurali profonde. Un sacco di materiale su Internet mostra come implementarlo su una base di attivazione per attivazione. Ho già implementato il backprop usando l'algebra della matrice e dato che sto lavorando in linguaggi di alto …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

Il seguente problema è stato pubblicato sulla pagina Facebook di Mensa International: \quad\quad\quad\quad\quad\quad\quad\quad Il post stesso ha ricevuto oltre 1000 commenti, ma non entrerò nei dettagli del dibattito in quanto so che questo è il paradosso del box di Bertrand e la risposta è . Ciò che mi interessa qui …

12 r  probability  simulation  monte-carlo  paradox 

Immagina che un ricercatore stia esplorando un set di dati ed esegua 1000 diverse regressioni e trova una relazione interessante tra loro. Ora immagina che un altro ricercatore con gli stessi dati esegua solo 1 regressione e si scopre che è lo stesso che l'altro ricercatore ha impiegato 1000 regressioni …

12 bayesian  multiple-regression  multiple-comparisons  inference  theory 

Ho esplorato una serie di strumenti per le previsioni e ho scoperto che i modelli di additivi generalizzati (GAM) hanno il massimo potenziale per questo scopo. I GAM sono fantastici! Consentono di specificare in modo molto succinto modelli complessi. Tuttavia, quella stessa sintonia mi sta creando confusione, in particolare per …

12 r  modeling  gam  mgcv