Statistiche e Big Data

4

Stime di regressione L1 mediane mentre stime di regressione L2 significano?

Quindi mi è stata posta una domanda sulla stima delle misure centrali L1 (es. Lazo) e L2 (es. Regressione della cresta). La risposta è L1 = mediana e L2 = media. C'è qualche tipo di ragionamento intuitivo in questo? O deve essere determinato algebricamente? In tal caso, come posso fare …

24 lasso regularization loss-functions ridge-regression

2

Come includere un termine di interazione in GAM?

Il codice seguente valuta la somiglianza tra due serie storiche: set.seed(10) RandData <- rnorm(8760*2) America <- rep(c('NewYork','Miami'),each=8760) Date = seq(from=as.POSIXct("1991-01-01 00:00"), to=as.POSIXct("1991-12-31 23:00"), length=8760) DatNew <- data.frame(Loc = America, Doy = as.numeric(format(Date,format = "%j")), Tod = as.numeric(format(Date,format = "%H")), Temp = RandData, DecTime = rep(seq(1, length(RandData)/2) / (length(RandData)/2), 2)) require(mgcv) …

24 r time-series data-visualization gam

1

Come definire la condizione di terminazione per la discesa gradiente?

In realtà, volevo chiederti come posso definire la condizione terminale per la discesa del gradiente. Posso interromperlo in base al numero di iterazioni, ovvero considerando i valori dei parametri per, diciamo, 100 iterazioni? O dovrei aspettare in modo tale che i diversi valori dei due parametri "nuovo" e "vecchio" siano …

24 algorithms optimization gradient-descent

4

È questo un metodo appropriato per testare gli effetti stagionali nei dati sul conteggio dei suicidi?

Ho 17 anni (1995-2011) di dati relativi al certificato di morte relativi a decessi suicidi per uno stato negli Stati Uniti. C'è molta mitologia là fuori sui suicidi e sui mesi / stagioni, molti dei quali contraddittori, e della letteratura I ' ho rivisto, non ho un chiaro senso dei …

24 r chi-squared arima count-data seasonality

4

Qual è la differenza tra statistiche matematiche e statistiche?

Qual è la differenza tra statistiche matematiche e statistiche? Ho letto questo : La statistica è lo studio della raccolta, organizzazione, analisi e interpretazione dei dati. Si occupa di tutti gli aspetti di questo, compresa la pianificazione della raccolta dei dati in termini di progettazione di sondaggi ed esperimenti. E …

24 mathematical-statistics terminology

1

Come visualizzare un'enorme tabella di contingenza sparsa?

Ho due variabili: Drug Name (DN) e corrispondenti eventi avversi (AE), che si trovano in una relazione molti-a-molti. Ci sono 33.556 nomi di farmaci e 9.516 eventi avversi. La dimensione del campione è di circa 5,8 milioni di osservazioni. Voglio studiare e comprendere l'associazione / relazione tra DN e AE. …

24 r categorical-data data-visualization large-data association-measure

1

Chi ha inventato la convalida incrociata di k-fold?

Sto cercando un riferimento al documento in cui è stata introdotta la convalida incrociata di k-fold (piuttosto che solo un buon riferimento accademico per la materia). Forse è troppo indietro nella notte dei tempi per identificare in modo inequivocabile il primissimo documento, quindi qualsiasi documento iniziale in cui l'idea è …

24 cross-validation references

3

Correlazione tra due serie storiche

Qual è il modo / metodo più semplice per calcolare la correlazione tra due serie temporali che hanno esattamente le stesse dimensioni? Ho pensato di moltiplicare e ( y [ t ] - μ y ) e di sommare la moltiplicazione. Quindi, se questo singolo numero fosse positivo, possiamo dire …

24 time-series

3

Come eseguire la regressione logistica in R quando l'esito è frazionario (un rapporto di due conteggi)?

Sto recensendo un articolo che ha il seguente esperimento biologico. Un dispositivo viene utilizzato per esporre le cellule a quantità variabili di stress di taglio del fluido. Man mano che viene applicato un maggiore stress da taglio alle cellule, molte di esse iniziano a staccarsi dal substrato. Ad ogni livello …

24 r logistic multinomial

3

I campioni non casuali possono essere analizzati utilizzando test statistici standard?

Molti studi clinici si basano su campioni non casuali. Tuttavia, la maggior parte dei test standard (ad es. T-test, ANOVA, regressione lineare, regressione logistica) si basano sul presupposto che i campioni contengano "numeri casuali". I risultati sono validi se questi campioni non casuali sono stati analizzati mediante test standard? Grazie.

24 sampling randomness

4

Stima della massima verosimiglianza EM per la distribuzione di Weibull

Nota: sto pubblicando una domanda di un mio ex studente incapace di pubblicare da solo per motivi tecnici. Dato un esempio iid da una distribuzione Weibull con pdf c'è un'utile rappresentazione variabile mancante e quindi un algoritmo EM (aspettativa-massimizzazione) associato che potrebbe essere usato per trovare l'MLE di , invece …

24 optimization missing-data expectation-maximization weibull gumbel

4

Hai una visione globale di queste tecniche di analisi?

Attualmente sto lavorando a un progetto in cui sostanzialmente ho bisogno, come tutti noi, di capire come l'output è correlato all'input x . La particolarità qui è che i dati ( y , x ) mi vengono dati un pezzo alla volta, quindi voglio aggiornare la mia analisi ogni volta …

24 modeling model-selection

4

Qual è la relazione tra regressione e analisi discriminante lineare (LDA)?

Esiste una relazione tra regressione e analisi discriminante lineare (LDA)? Quali sono le loro somiglianze e differenze? Fa differenza se ci sono due classi o più di due classi?

24 regression logistic discriminant-analysis canonical-correlation reduced-rank-regression

3

Controllo di integrità: quanto può andare basso un valore p?

Sto usando un test ranksum per confrontare la media di due campioni ( ) e hanno trovato che sono significativamente differenti con: . Dovrei essere sospettoso di un valore piccolo o dovrei attribuirlo all'elevato potere statistico associato ad avere un campione molto grande? Esiste un valore sospettosamente basso ?n=120000n=120000n=120000p = …

24 hypothesis-testing p-value sample-size power

2

Perché lme e aov restituiscono risultati diversi per le misure ripetute ANOVA in R?

Sto cercando di passare dall'uso del ezpacchetto a lmemisure ripetute ANOVA (poiché spero di poter usare contrasti personalizzati con lme). Seguendo i consigli di questo post sul blog sono stato in grado di impostare lo stesso modello usando entrambi aov(come fa ez, quando richiesto) e lme. Tuttavia, mentre nell'esempio riportato …

24 r anova mixed-model repeated-measures lme4-nlme