Statistiche e Big Data

5

Qualcuno può suggerire dove ottenere i risultati dei 10.000 gettoni (cioè di tutte le 10.000 teste e code) eseguiti da John Kerrich durante la Seconda Guerra Mondiale?

12 probability

1

Differenza tra previsioni "in-sample" e "pseudo out-of-sample"

Esiste una differenza esplicita tra previsioni nel campione e pseudo previsioni fuori dal campione . Entrambi sono intesi nel contesto della valutazione e del confronto di modelli previsionali.

12 forecasting model-comparison out-of-sample in-sample

4

In R come calcolare il valore p per l'area sotto ROC

Faccio fatica a trovare un modo per calcolare il valore p per l'area sotto una caratteristica dell'operatore del ricevitore (ROC). Ho una variabile continua e un risultato del test diagnostico. Voglio vedere se AUROC è statisticamente significativo. Ho trovato molti pacchetti relativi alle curve ROC: pROC, ROCR, caTools, verifica, Epi. …

12 r p-value roc

4

Bontà di adattamento per campioni di dimensioni molto grandi

Raccolgo campioni molto grandi (> 1.000.000) di dati categorici ogni giorno e voglio vedere i dati "significativamente" diversi tra i giorni per rilevare errori nella raccolta dei dati. Ho pensato che usare un test di buona misura (in particolare un test G) sarebbe una buona misura (gioco di parole) per …

12 goodness-of-fit large-data

2

Quali statistiche vengono conservate in aggregazione?

Se disponiamo di una serie temporale lunga e ad alta risoluzione, con un sacco di rumore, spesso ha senso aggregare i dati a una risoluzione inferiore (ad esempio valori giornalieri o mensili) per comprendere meglio cosa sta succedendo, rimuovendo efficacemente alcuni dei il rumore. Ho visto almeno un articolo che …

12 time-series aggregation

4

Valore che aumenta la deviazione standard

Sono perplesso dalla seguente affermazione: "Per aumentare la deviazione standard di un insieme di numeri, è necessario aggiungere un valore che è più di una deviazione standard dalla media" Qual è la prova di ciò? So ovviamente come definiamo la deviazione standard ma quella parte mi sembra che manchi in …

12 standard-deviation

1

C'è un nome migliore di "media dell'integrale"?

Sto testando i sensori di posizione della valvola a farfalla (TPS) che la mia azienda vende e stampo il diagramma della risposta in tensione alla rotazione dell'albero a farfalla. Un TPS è un sensore rotazionale con 90 ° di portata e l'uscita è come un potenziometro con apertura completa pari …

12 terminology

1

Inferenza su effetti fissi in un modello di effetti misti

Ho dati correlati e sto usando un modello di effetti misti di regressione logistica per stimare l'effetto a livello individuale (condizionale) per un predittore di interesse. So che per i modelli marginali standard, l'inferenza sui parametri del modello usando il test Wald è coerente per il rapporto di verosimiglianza e …

12 logistic mixed-model inference

1

C'è un problema con la multicollinearità e per la regressione delle spline?

Quando si utilizzano spline cubiche naturali (cioè limitate), le funzioni di base create sono altamente collineari e quando utilizzate in una regressione sembrano produrre statistiche VIF (fattore di inflazione della varianza) molto elevate, segnalando multicollinearità. Quando si considera il caso di un modello ai fini della previsione, si tratta di …

12 multiple-regression generalized-linear-model predictive-models multicollinearity splines

2

Perché i test del rapporto di verosimiglianza non possono essere utilizzati per i modelli non nidificati?

Più specificamente, perché i test del rapporto di verosimiglianza hanno asintoticamente una distribuzione se i modelli sono nidificati, ma non è più il caso dei modelli non nidificati? Comprendo che ciò deriva dal teorema di Wilks, ma sfortunatamente non capisco la sua prova .χ2χ2\chi^2

12 likelihood-ratio nested-models

1

Esempio di disuguaglianza rigorosa di Neumann

Sia il rischio di Bayes di uno stimatore rispetto a un precedente , sia il set di tutti i priori nello spazio dei parametri , e sia il set di tutte le regole di decisione (eventualmente randomizzate).δ π Π Θ Δr(π,δ)r(π,δ)r(\pi, \delta)δδ\deltaππ\piΠΠ\PiΘΘ\ThetaΔΔ\Delta L'interpretazione statistica della disuguaglianza minimax di John von …

12 bayesian decision-theory risk

1

Confusione su valori lmer e p: come si confrontano i valori p dal pacchetto memisc con quelli MCMC?

Avevo l'impressione che la funzione lmer()nel lme4pacchetto non producesse valori-p (vedi lmer, valori-p e tutto il resto ). Ho usato invece i valori p generati da MCMC secondo questa domanda: Effetto significativo nel lme4modello misto e questa domanda: Impossibile trovare i valori p nell'output lmer()nel lm4pacchetto inR . Recentemente ho …

12 r mixed-model p-value mcmc lme4-nlme

2

Se un test parametrico non rifiuta null, la sua alternativa non parametrica fa lo stesso?

Se si presume che i test non parametrici abbiano una potenza inferiore rispetto alle loro alternative parametriche, ciò implica che se un test parametrico non rifiuta null, allora anche la sua alternativa non parametrica non rifiuta null? Come può cambiare se i presupposti del test parametrico non sono soddisfatti e …

12 hypothesis-testing nonparametric parametric

1

Comprensione delle disparità di concentrazione delle misure

Nello spirito di questa domanda Comprendere la prova di un lemma usato nella disuguaglianza di Hoeffding , sto cercando di capire i passi che portano alla disuguaglianza di Hoeffding. Ciò che ha più mistero per me nella dimostrazione è la parte in cui vengono calcolati i momenti esponenziali per la …

12 probability probability-inequalities

1

Come tradurre l'output da un adattamento lm () con una spline cubica in un'equazione di regressione

Ho un po 'di codice e output e vorrei costruire un modello. Non so come costruire un modello usando questo output: require("splines") x <- c(0.2, 0.23, 0.26, 0.29, 0.33, 0.46, 0.53 ) y <- c(0.211, 0.2026, 0.2034, 0.2167, 0.2177, 0.19225, 0.182) fit <- lm(y ~ ns(x,3)) summary(fit) Si noti che …

12 r splines