Statistiche e Big Data

4

Cosa da credere: test di Kolmogorov-Smirnov o trama QQ?

Sto cercando di determinare se il mio set di dati di dati continui segue una distribuzione gamma con parametri shape 1.7 e rate 0.000063.====== Il problema è quando uso R per creare un diagramma QQ del mio set di dati rispetto alla gamma di distribuzione teorica (1.7, 0.000063), ottengo un …

16 pdf kolmogorov-smirnov cdf qq-plot

7

Problema con due buste rivisitato

Stavo pensando a questo problema. http://en.wikipedia.org/wiki/Two_envelopes_problem Credo che la soluzione e penso di capirla, ma se seguo il seguente approccio sono completamente confusa. Problema 1: Ti offrirò il seguente gioco. Mi paghi $ 10 e lancerò una moneta giusta. Heads ti do $ 5 e Tails ti do $ 20. …

16 probability paradox puzzle

4

Valore atteso della mediana del campione data la media del campione

Sia YYY denota la mediana e sia X¯X¯\bar{X} la media, di un campione casuale di dimensione n=2k+1n=2k+1n=2k+1 da una distribuzione che è N(μ,σ2)N(μ,σ2)N(\mu,\sigma^2) . Come posso calcolare E(Y|X¯=x¯)E(Y|X¯=x¯)E(Y|\bar{X}=\bar{x}) ? Intuitivamente, a causa del presupposto della normalità, ha senso affermare che E(Y|X¯=x¯)=x¯E(Y|X¯=x¯)=x¯E(Y|\bar{X}=\bar{x})=\bar{x} e in effetti questa è la risposta corretta. Può …

16 self-study normal-distribution mathematical-statistics expected-value conditional-expectation

1

Statistiche sufficienti, problemi specifici / intuizione

Mi sto insegnando delle statistiche per divertimento e ho un po 'di confusione riguardo a statistiche sufficienti . Scriverò le mie confusioni in formato elenco: Se una distribuzione ha nnn parametri allora avrà nnn statistiche sufficienti? Esiste una sorta di corrispondenza diretta tra le statistiche sufficienti e i parametri? Oppure …

16 mathematical-statistics sufficient-statistics

2

Selezione delle funzioni con foreste casuali

Ho un set di dati con principalmente variabili finanziarie (120 caratteristiche, esempi 4k) che sono per lo più altamente correlate e molto rumorose (indicatori tecnici, ad esempio), quindi vorrei selezionare circa 20-30 max per un uso successivo con la formazione dei modelli (classificazione binaria - aumento diminuzione). Stavo pensando di …

16 feature-selection random-forest python

1

Problema nella definizione dell'ordine ARIMA

Questo è un post lungo, quindi spero che tu possa sopportare con me, e per favore correggimi dove sbaglio. Il mio obiettivo è produrre una previsione giornaliera basata su 3 o 4 settimane di dati storici. I dati sono dati di 15 minuti del carico locale di una delle linee …

16 forecasting arima model-selection seasonality fourier-transform

2

Mostra correlazione spaziale e temporale sulle mappe

Ho dei dati per una rete di stazioni meteorologiche negli Stati Uniti. Questo mi dà un frame di dati che contiene data, latitudine, longitudine e un certo valore misurato. Supponiamo che i dati vengano raccolti una volta al giorno e guidati da condizioni meteorologiche su scala regionale (no, non entreremo …

16 r regression data-visualization pca spatial

1

Comprensione della varianza degli effetti casuali nei modelli lmer ()

Ho difficoltà a comprendere l'output del mio lmer()modello. È un semplice modello di una variabile di risultato (supporto) con intercettazioni di stato / effetti casuali di stato variabili: mlm1 <- lmer(Support ~ (1 | State)) I risultati di summary(mlm1)sono: Linear mixed model fit by REML Formula: Support ~ (1 | …

16 r mixed-model random-effects-model lme4-nlme

2

In quali condizioni le macchine per l'incremento del gradiente superano le foreste casuali?

La macchina per aumentare il gradiente di Friedman può ottenere prestazioni migliori rispetto alla Foresta casuale di Breiman ? In tal caso, in quali condizioni o che tipo di set di dati può migliorare gbm?

16 machine-learning data-mining random-forest boosting

4

Esiste una legge che dice che se fai abbastanza prove, accadono cose rare?

Sto cercando di fare un video sui dadi caricati, e ad un certo punto del video lanciamo circa 200 dadi, prendiamo tutti i sei, tirali di nuovo, prendiamo tutti i sei e tirali per la terza volta. Abbiamo avuto un dado che è uscito 6 tre volte di fila, il …

16 probability dice law-of-large-numbers

2

SVM di una classe vs. SVM esemplare

Capisco che le SVM di una classe (OSVM) sono state proposte tenendo conto dell'assenza di dati negativi e che cercano di trovare limiti di decisione che separano un insieme positivo e un punto di ancoraggio negativo, affermano l'origine. Un'opera del 2011 propone gli SVM Exemplar (ESVM) che addestra un "classificatore …

16 machine-learning svm

3

Come dividere l'R-quadrato tra le variabili predittive nella regressione multipla?

Ho appena letto un articolo in cui gli autori hanno effettuato una regressione multipla con due predittori. Il valore complessivo del r-quadrato era 0,65. Hanno fornito un tavolo che ha diviso il quadratino tra i due predittori. Il tavolo sembrava così: rsquared beta df pvalue whole model 0.65 NA 2, …

16 r multiple-regression r-squared importance variance-decomposition

1

Perché il controllo dell'FDR è meno rigoroso del controllo dell'FWER?

Ho letto che il controllo della FDR è meno rigoroso del controllo della FWER, come in Wikipedia : Le procedure di controllo della FDR esercitano un controllo meno rigoroso sulla scoperta di falsi rispetto alle procedure di tasso di errore a livello familiare (FWER) (come la correzione Bonferroni). Ciò aumenta …

16 hypothesis-testing multiple-comparisons false-discovery-rate

3

Cholesky contro eigendecomposition per estrarre campioni da una distribuzione normale multivariata

Vorrei disegnare un campione x∼N(0,Σ)x∼N(0,Σ)\mathbf{x} \sim N\left(\mathbf{0}, \mathbf{\Sigma} \right) . Wikipedia suggerisce di usare una composizione Cholesky o Eigendec , cioè Σ=D1DT1Σ=D1D1T \mathbf{\Sigma} = \mathbf{D}_1\mathbf{D}_1^T o Σ=QΛQTΣ=QΛQT \mathbf{\Sigma} = \mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^T E quindi il campione può essere disegnato tramite: x=D1vx=D1v \mathbf{x} = \mathbf{D}_1 \mathbf{v} oppure x=QΛ−−√vx=QΛv \mathbf{x} = \mathbf{Q}\sqrt{\mathbf{\Lambda}} \mathbf{v} dove …

16 normal-distribution random-generation svd cholesky

3

Verifica se le variabili seguono la stessa distribuzione

Se si desidera verificare se due variabili seguono la stessa distribuzione, sarebbe un buon test semplicemente ordinare entrambe le variabili e quindi verificarne la correlazione? Se è alto (almeno 0,9?), Allora le variabili molto probabilmente provengono dalla stessa distribuzione. Con distribuzione qui intendo "normale", "chi-quadrato", "gamma" ecc.

16 hypothesis-testing distributions