Statistiche e Big Data

Ho lavorato su un modello logistico e ho delle difficoltà a valutare i risultati. Il mio modello è un logit binomiale. Le mie variabili esplicative sono: una variabile categoriale con 15 livelli, una variabile dicotomica e 2 variabili continue. La mia N è grande> 8000. Sto cercando di modellare la …

13 r  logistic  goodness-of-fit  roc 

Sto lavorando a qualcosa come il seguente problema. Ho un sacco di utenti e N libri. Ogni utente crea una classifica ordinata di tutti i libri che ha letto (che è probabilmente un sottoinsieme degli N libri), ad esempio, Libro 1> Libro 40> Libro 25. Ora voglio trasformare queste classifiche …

13 multiple-comparisons  ranking  recommender-system  bradley-terry-model 

Apparentemente è il caso che se Xi∼N(0,1)Xi∼N(0,1)X_i \sim N(0,1) , allora X1X2+X3X4∼Laplace(0,1)X1X2+X3X4∼Laplace(0,1)X_1 X_2 + X_3 X_4 \sim \mathrm{Laplace(0,1)} Ho visto documenti su forme quadratiche arbitrarie, che si traducono sempre in orribili espressioni chi-quadrate non centrali. La semplice relazione di cui sopra non mi sembra affatto ovvia, quindi (se è vero!) …

13 normal-distribution  proof  quadratic-form  laplace-distribution 

Ho usato spesso per diagnosticare i miei dati multivariati usando PCA (dati omici con centinaia di migliaia di variabili e dozzine o centinaia di campioni). I dati provengono spesso da esperimenti con diverse variabili categoriali indipendenti che definiscono alcuni gruppi e spesso devo passare attraverso alcuni componenti prima di poter …

13 pca  linear-model  r-squared  discriminant-analysis 

È possibile eseguire un'analisi di potenza per i test U di Kruskal-Wallis e Mann-Whitney? Se sì, ci sono pacchetti / funzioni R che lo eseguono?

13 r  nonparametric  power-analysis  kruskal-wallis 

Ho condotto un glm.nb di glm1<-glm.nb(x~factor(group)) con group essendo un categoriale e x essendo una variabile metrica. Quando provo a ottenere il riepilogo dei risultati, ottengo risultati leggermente diversi, a seconda se utilizzo summary()o summary.glm. summary(glm1)mi da ... Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.1044 0.1519 0.687 0.4921 …

13 r  generalized-linear-model  negative-binomial 

Ho cercato di imparare e applicare i modelli ARIMA. Ho letto un eccellente testo su ARIMA di Pankratz - Previsioni con scatola univariata - Modelli Jenkins: concetti e casi . Nel testo l'autore sottolinea in particolare il principio della parsimonia nella scelta dei modelli ARIMA. Ho iniziato a giocare con …

13 time-series  forecasting  arima  aic  automatic-algorithms 

Ho appena iniziato a costruire modelli in Stan ; per acquisire familiarità con lo strumento, sto lavorando ad alcuni degli esercizi di Bayesian Data Analysis (2a edizione). L' esercizio di Waterbuck suppone che i dati , con ( N , θ ) sconosciuti. Poiché Hamiltonian Monte Carlo non consente parametri …

13 bayesian  mcmc  discrete-data  stan 

Devo derivare espressioni analitiche per la funzione di autocovarianza γ(k)γ(k)\gamma\left(k\right) di un processo ARMA (2,1) indicato da: yt=ϕ1yt−1+ϕ2yt−2+θ1ϵt−1+ϵtyt=ϕ1yt−1+ϕ2yt−2+θ1ϵt−1+ϵty_t=\phi_1y_{t-1}+\phi_2y_{t-2}+\theta_1\epsilon_{t-1}+\epsilon_t Quindi so che: γ(k)=E[yt,yt−k]γ(k)=E[yt,yt−k]\gamma\left(k\right) = \mathrm{E}\left[y_t,y_{t-k}\right] così posso scrivere: γ(k)=ϕ1E[yt−1yt−k]+ϕ2E[yt−2yt−k]+θ1E[ϵt−1yt−k]+E[ϵtyt−k]γ(k)=ϕ1E[yt−1yt−k]+ϕ2E[yt−2yt−k]+θ1E[ϵt−1yt−k]+E[ϵtyt−k]\gamma\left(k\right) = \phi_1 \mathrm{E}\left[y_{t-1}y_{t-k}\right]+\phi_2 \mathrm{E}\left[y_{t-2}y_{t-k}\right]+\theta_1 \mathrm{E}\left[\epsilon_{t-1}y_{t-k}\right]+\mathrm{E}\left[\epsilon_{t}y_{t-k}\right] quindi, per derivare la versione analitica della funzione di autocovarianza, devo sostituire i valori di - 0, …

13 time-series  covariance  autocorrelation  arma 

Ho i risultati dello stesso test applicato a due campioni indipendenti: x <- c(17, 12, 13, 16, 9, 19, 21, 12, 18, 17) y <- c(10, 6, 15, 9, 8, 11, 8, 16, 13, 7, 5, 14) E voglio calcolare un test di somma dei ranghi di Wilcoxon. Quando calcolo …

13 r  wilcoxon-mann-whitney  wilcoxon-signed-rank 

Il termine "inferenza statistica" comprende solo test di ipotesi o comprende anche la stima puntuale, la stima dell'intervallo ecc. Riferimenti autorevoli saranno molto apprezzati.

13 inference  terminology 

Potete fornire il motivo per usare un test a una coda nell'analisi del test di varianza? Perché utilizziamo un test a una coda - il test F - in ANOVA?

13 anova  f-test  sums-of-squares  f-distribution 

Nella regressione lineare, Y=XβY=XβY= X\beta , perché è XXXchiamata matrice di progettazione? può XXXessere progettato o costruito arbitrariamente in una certa misura come nell'arte?

13 regression  terminology 

Non ho alcun background in matematica, ma capisco come funziona il semplice Perceptron e penso di afferrare il concetto di un iperpiano (lo immagino geometricamente come un piano nello spazio 3D che separa due nuvole di punti, proprio come una linea separa due nuvole di punti nello spazio 2D). Ma …

13 machine-learning  classification  linear-model  multi-class 

1. Il problema Ho alcune misure di una variabile ytyty_t , dove t=1,2,..,nt=1,2,..,nt=1,2,..,n , per cui ho una distribuzione fyt(yt)fyt(yt)f_{y_t}(y_t) ottenuto tramite MCMC, che per semplicità Si assume una gaussiana di media μtμt\mu_t e varianza σ2tσt2\sigma_t^2 . Ho un modello fisico per quelle osservazioni, diciamo g(t)g(t)g(t) , ma i residui …

13 time-series  mcmc  autoregressive  likelihood