Statistiche e Big Data

9

Come ottenere il valore p (verifica la significatività) di un effetto in un modello misto lme4?

Uso lme4 in R per adattarmi al modello misto lmer(value~status+(1|experiment))) dove il valore è continuo, lo stato e l'esperimento sono fattori e ottengo Linear mixed model fit by REML Formula: value ~ status + (1 | experiment) AIC BIC logLik deviance REMLdev 29.1 46.98 -9.548 5.911 19.1 Random effects: Groups …

56 r hypothesis-testing mixed-model p-value lme4-nlme

6

Quale metodo può essere utilizzato per rilevare la stagionalità nei dati?

Voglio rilevare la stagionalità nei dati che ricevo. Ci sono alcuni metodi che ho trovato come il diagramma delle sottoserie stagionali e il diagramma di autocorrelazione ma il fatto è che non capisco come leggere il grafico, qualcuno potrebbe aiutarmi? L'altra cosa è, ci sono altri metodi per rilevare la …

56 time-series seasonality

12

Software necessario per raschiare i dati dal grafico [chiuso]

Qualcuno ha qualche esperienza con il software (preferibilmente gratuito, preferibilmente open source) che acquisirà un'immagine dei dati tracciati su coordinate cartesiane (una trama standard quotidiana) ed estrarrà le coordinate dei punti tracciati sul grafico? In sostanza, si tratta di un problema di data mining e di visualizzazione inversa dei dati.

56 data-visualization data-mining software

13

Quali sono i progressi nelle statistiche degli ultimi 15 anni?

Ricordo ancora il documento Annals of Statistics su Boosting di Friedman-Hastie-Tibshirani e i commenti sugli stessi argomenti di altri autori (inclusi Freund e Schapire). A quel tempo, chiaramente Boosting era considerato una svolta sotto molti aspetti: computazionalmente fattibile, un metodo d'insieme, con prestazioni eccellenti ma misteriose. Nello stesso periodo, SVM …

56 mathematical-statistics history

2

Qual è la differenza tra una probabilità parziale, la probabilità del profilo e la probabilità marginale?

Vedo questi termini usati e continuo a confonderli. C'è una semplice spiegazione delle differenze tra loro?

56 estimation maximum-likelihood

8

Perché continuare a insegnare e utilizzare il test delle ipotesi (quando sono disponibili intervalli di confidenza)?

Perché continuare a insegnare e utilizzare il test delle ipotesi (con tutti i suoi concetti difficili e che sono tra i peccati più statistici) per i problemi in cui esiste uno stimatore di intervallo (confidenza, bootstrap, credibilità o altro)? Qual è la migliore spiegazione (se presente) da dare agli studenti? …

56 hypothesis-testing confidence-interval teaching

4

Come viene distribuito il minimo di un insieme di variabili casuali?

X1,...,XnX1,...,XnX_1, ..., X_nmin(X1,...,Xn)min(X1,...,Xn)\min(X_1, ..., X_n)

56 distributions random-variable minimum

6

Quale implementazione del test di permutazione in R usare al posto dei test t (accoppiati e non accoppiati)?

Ho i dati di un esperimento che ho analizzato usando i test t. La variabile dipendente viene ridimensionata in base all'intervallo e i dati sono non accoppiati (ovvero, 2 gruppi) o accoppiati (ovvero, all'interno dei soggetti). Ad esempio (all'interno dei soggetti): x1 <- c(99, 99.5, 65, 100, 99, 99.5, 99, …

56 r t-test nonparametric permutation-test

5

In che modo esattamente un "modello a effetti casuali" in econometria si collega a modelli misti al di fuori di econometria?

Pensavo che il "modello a effetti casuali" in econometria corrispondesse a un "modello misto con intercettazione casuale" al di fuori dell'econometria, ma ora non ne sono sicuro. Vero? L'econometria usa termini come "effetti fissi" e "effetti casuali" in modo leggermente diverso dalla letteratura sui modelli misti, e questo provoca una …

56 mixed-model econometrics panel-data lme4-nlme plm

8

Come simulare i dati che soddisfano vincoli specifici come avere una media e una deviazione standard specifiche?

Questa domanda è motivata dalla mia domanda sulla meta-analisi . Ma immagino che sarebbe utile anche per insegnare contesti in cui si desidera creare un set di dati che rispecchi esattamente un set di dati pubblicato esistente. So come generare dati casuali da una determinata distribuzione. Quindi, ad esempio, se …

56 r dataset simulation random-generation

2

Una discussione più definitiva sulla selezione delle variabili

sfondo Sto facendo ricerche cliniche in medicina e ho seguito numerosi corsi di statistica. Non ho mai pubblicato un articolo usando la regressione lineare / logistica e vorrei fare correttamente la selezione delle variabili. L'interpretazione è importante, quindi nessuna tecnica di apprendimento automatico sofisticata. Ho riassunto la mia comprensione della …

55 regression feature-selection model-selection

2

Perché funziona il restringimento?

Al fine di risolvere i problemi di selezione del modello, una serie di metodi (LASSO, regressione della cresta, ecc.) Ridurrà i coefficienti delle variabili predittive verso lo zero. Sto cercando una spiegazione intuitiva del perché questo migliora l'abilità predittiva. Se il vero effetto della variabile era in realtà molto grande, …

55 lasso regularization ridge-regression intuition shrinkage

10

Quali sono alcuni esempi di pratiche anacronistiche nelle statistiche?

Mi riferisco a pratiche che mantengono ancora la loro presenza, anche se i problemi (di solito computazionali) con cui sono stati progettati per far fronte sono stati per lo più risolti. Ad esempio, la correzione della continuità di Yates è stata inventata per approssimare l'esatto test di Fisher con il …

55 references philosophical

1

Wald test per la regressione logistica

Per quanto ho capito, il test di Wald nel contesto della regressione logistica viene utilizzato per determinare se una determinata variabile predittiva è significativa o meno. Rifiuta che l'ipotesi nulla del coefficiente corrispondente sia zero.XXX Il test consiste nel dividere il valore del coefficiente per errore standard .σσ\sigma Ciò di …

55 logistic z-statistic

4

Scelta tra LM e GLM per una variabile di risposta trasformata in log

Sto cercando di capire la filosofia alla base dell'utilizzo di un modello lineare generalizzato (GLM) rispetto a un modello lineare (LM). Di seguito ho creato un set di dati di esempio in cui: log(y)=x+εlog⁡(y)=x+ε\log(y) = x + \varepsilon L'esempio non ha l'errore in funzione della grandezza di , quindi suppongo …

55 r generalized-linear-model linear-model gamma-distribution link-function