Statistiche e Big Data

2

Quali statistiche descrittive non sono dimensioni dell'effetto?

Dice Wikipedia la dimensione dell'effetto è una misura della forza di un fenomeno o una stima basata su campione di tale quantità. Una dimensione dell'effetto calcolata dai dati è una statistica descrittiva che trasmette l'entità stimata di una relazione senza fare alcuna dichiarazione sul fatto che la relazione apparente nei …

12 effect-size

2

Quando i dati hanno una distribuzione gaussiana, quanti campioni li caratterizzeranno?

I dati gaussiani distribuiti in una singola dimensione richiedono due parametri per caratterizzarli (media, varianza) e si dice che circa 30 campioni selezionati casualmente siano di solito sufficienti per stimare questi parametri con una sicurezza ragionevolmente elevata. Ma cosa succede all'aumentare del numero di dimensioni? In due dimensioni (ad es. …

12 normal-distribution multivariate-analysis

1

Primi passi per imparare a prevedere i periodi di crisi finanziaria utilizzando l'apprendimento automatico

Sto cercando di capire come utilizzare l'apprendimento automatico per prevedere la serie finanziaria 1 o più passi nel futuro. Ho una serie di attività finanziarie con alcuni dati descrittivi e vorrei formare un modello e quindi utilizzare il modello per prevedere n-passi avanti. Quello che ho fatto finora è: getSymbols("GOOG") …

12 r time-series machine-learning random-forest finance

2

Rapporto tra la somma di Normale e la somma di cubi di Normale

Aiutami a trovare la distribuzione limitante (come ) di quanto segue: dove sono iid .n→∞n→∞n \rightarrow \inftyUn=X1+X2+…+XnX31+X32+…X3n,Un=X1+X2+…+XnX13+X23+…Xn3, U_n = \frac{X_1 + X_2 + \ldots + X_n}{X_1^3 + X_2^3 + \ldots X_n^3},XiXiX_iN(0,1)N(0,1)N(0,1)

12 distributions normal-distribution asymptotics

2

Nome del "paradosso" riportato da Gelman

Nel libro di Andrew Gelman "Red State, Blue State" analizza il fatto che i ricchi in determinati stati tendono a votare più repubblicani che poveri, ma che gli stati ricchi tendono a votare più democratici che poveri. C'è un nome per questo paradosso? Mi sembra correlato, ma non identico, al …

12 paradox

2

Come testare la sovraispersione in Poisson GLMM con lmer () in R?

Ho il seguente modello: > model1<-lmer(aph.remain~sMFS1+sAG1+sSHDI1+sbare+season+crop +(1|landscape),family=poisson) ... e questo è l'output di riepilogo. > summary(model1) Generalized linear mixed model fit by the Laplace approximation Formula: aph.remain ~ sMFS1 + sAG1 + sSHDI1 + sbare + season + crop + (1 | landscape) AIC BIC logLik deviance 4057 4088 -2019 …

12 r poisson-distribution lme4-nlme glmm overdispersion

2

Qual è la distribuzione prevista di residui in un modello lineare generalizzato?

Sto eseguendo un modello lineare generalizzato, in cui devo specificare una famiglia diversa da quella normale. Qual è la distribuzione prevista di residui? Ad esempio, i residui dovrebbero essere distribuiti normalmente?

12 generalized-linear-model residuals normality-assumption

3

Probabilità di Naive Bayes: devo raddoppiare le parole?

Sto prototipando la mia borsa Naive Bayes o un modello a parole, e avevo una domanda sul calcolo delle probabilità delle funzionalità. Diciamo che ho due lezioni, userò solo spam e non spam poiché è quello che usano tutti. E prendiamo la parola "viagra" come esempio. Ho 10 e-mail nel …

12 classification conditional-probability naive-bayes

5

Pacchetti di selezione delle caratteristiche in R, che eseguono sia la regressione che la classificazione

Bloccato . Questa domanda e le sue risposte sono bloccate perché la domanda è fuori tema ma ha un significato storico. Al momento non accetta nuove risposte o interazioni. Sono molto nuovo di R. Sto imparando l'apprendimento automatico in questo momento. Molto dispiaciuto, se questa domanda sembra essere molto semplice. …

12 r feature-selection

5

Il numero 20 è magico?

Ho riferimenti che mi hanno consigliato di prendere in considerazione una dimensione del campione di almeno 20 per la distribuzione dei dati. C'è senso in questo? Grazie

12 sample-size

2

Differenza nei valori di p riportati tra lm e aov in R

Cosa spiega le differenze nei valori p di seguito aove le lmchiamate? La differenza è dovuta solo a diversi tipi di calcoli di somma dei quadrati? set.seed(10) data=rnorm(12) f1=rep(c(1,2),6) f2=c(rep(1,6),rep(2,6)) summary(aov(data~f1*f2)) summary(lm(data~f1*f2))$coeff

12 r regression anova linear-model sums-of-squares

3

La procedura di effetti fissi di Mundlak è applicabile per la regressione logistica con i manichini?

Ho un set di dati con 8000 cluster e 4 milioni di osservazioni. Sfortunatamente il mio software statistico, Stata, funziona piuttosto lentamente quando si usa la sua funzione di dati del pannello per la regressione logistica:, xtlogitanche con un sottocampione del 10%. Tuttavia, quando si utilizza la logitfunzione non pannello …

12 logistic categorical-data stata fixed-effects-model

3

Curva ROC che attraversa la diagonale

Al momento sto eseguendo un classificatore binario. Quando tracciamo la curva ROC ottengo un buon sollevamento all'inizio, quindi cambia direzione e attraversa la diagonale, quindi ovviamente torna indietro, rendendo la curva a forma di S inclinata. Quale può essere un'interpretazione / spiegazione in tal senso? Grazie

12 roc

2

Il diagramma QQ non corrisponde all'istogramma

Ho un istogramma, una densità del kernel e una distribuzione normale adattata dei rendimenti dei registri finanziari, che vengono trasformati in perdite (i segni vengono cambiati) e un normale diagramma QQ di questi dati: Il diagramma QQ mostra chiaramente che le code non sono montate correttamente. Ma se guardo l'istogramma …

12 data-visualization normality-assumption histogram qq-plot

3

Previsione dei dati di conteggio con foresta casuale

Una foresta casuale può essere addestrata per prevedere in modo appropriato i dati di conteggio? Come procederebbe? Ho una vasta gamma di valori, quindi la classificazione non ha davvero senso. Se usassi la regressione, troncerei semplicemente i risultati? Sono abbastanza perso qui. Qualche idea?

12 r regression random-forest prediction count-data