Statistiche e Big Data

2

Clustering di dati rumorosi o con valori anomali

Ho un dato rumoroso di due variabili come questa. x1 <- rep(seq(0,1, 0.1), each = 3000) set.seed(123) y1 <- rep (c(0.2, 0.8, 0.3, 0.9, 0.65, 0.35,0.7,0.1,0.25, 0.3, 0.95), each = 3000) set.seed(1234) e1 = rnorm(length(x1), 0.07,0.07) set.seed(1223) e2 = rnorm(length(x1), 0.07,0.07) set.seed(1334) yn <- rnorm(20000, 0.5,0.9) set.seed(2344) xn <- rnorm(20000, …

9 r machine-learning clustering

1

Standardizzare le funzionalità quando si utilizza LDA come fase di pre-elaborazione

Se un'analisi discriminante lineare multi-classe (o leggo talvolta anche analisi discriminante multipla) viene utilizzata per la riduzione della dimensionalità (o trasformazione dopo la riduzione della dimensionalità tramite PCA), capisco che in generale una "normalizzazione del punteggio Z" (o standardizzazione) di le funzionalità non saranno necessarie, anche se misurate su scale …

9 classification data-transformation normalization standardization discriminant-analysis

1

Perché l'algoritmo EM deve essere iterativo?

Supponiamo di avere una popolazione con unità, ciascuna con una variabile casuale X i ∼ Poisson ( λ ) . Si osservano n = N - n 0 valori per qualsiasi unità per la quale X i > 0 . Vogliamo una stima di λ .NNNXi∼Poisson(λ)Xi∼Poisson(λ)X_i \sim \text{Poisson}(\lambda)n = N- …

9 expectation-maximization

1

Qual è il CDF a due campioni di e dal test unilaterale di Kolmogorov-Smirnov?

Sto cercando di capire come ottenere valori per il test unilaterale di Kolmogorov-Smirnov e sto cercando di trovare CDF per e nel caso di due campioni. Di seguito viene citato in alcuni punti come CDF per in un caso a campione:D + n 1 , n 2 D - n …

9 self-study kolmogorov-smirnov cdf

1

Comprensione della decomposizione del valore singolare nel contesto di LSI

La mia domanda è generalmente sulla decomposizione del valore singolare (SVD), e in particolare sull'indicizzazione semantica latente (LSI). Di ', ho che contiene frequenze di 5 parole per 7 documenti.Aword×documentUNword×document A_{word \times document} A = matrix(data=c(2,0,8,6,0,3,1, 1,6,0,1,7,0,1, 5,0,7,4,0,5,6, 7,0,8,5,0,8,5, 0,10,0,0,7,0,0), ncol=7, byrow=TRUE) rownames(A) <- c('doctor','car','nurse','hospital','wheel') Ho la fattorizzazione matrice usando …

9 r svd natural-language latent-semantic-indexing

2

Storia: il ruolo della statistica in astronomia

Di recente ho sostenuto coraggiosamente di fronte a un gruppo di studenti di terza media piuttosto intelligenti che l'astronomia ha contribuito notevolmente alle basi della statistica e che molti concetti statistici sono stati inventati per l'uso in astronomia. Tuttavia, cercando di sostenerlo, ero abbastanza deluso. Errori, la media e la …

9 history astronomy

2

Perché una correlazione dei ranghi di Pearson è valida nonostante il presupposto della normalità?

Attualmente sto leggendo le ipotesi per le correlazioni di Pearson. Un presupposto importante per il conseguente test t sembra essere che entrambe le variabili provengano da distribuzioni normali; in caso contrario, viene raccomandato l'uso di misure alternative come Spearman rho. La correlazione di Spearman è calcolata come la correlazione di …

9 correlation normality-assumption spearman-rho ranks

1

Addizione vs decomposizione moltiplicativa

La mia domanda è davvero semplice ma quelli sono quelli che mi prendono davvero :) Non so davvero come valutare se una serie storica specifica debba essere decomposta usando un metodo di decomposizione additivo o moltiplicativo. So che ci sono segnali visivi su come distinguerli l'uno dall'altro, ma non li …

9 time-series mathematical-statistics variance-decomposition

2

Stima dei rapporti di rischio adeguati nei dati binari usando la regressione di Poisson

Sono interessato a stimare un rapporto di rischio rettificato, analogo a come si stima un rapporto di probabilità rettificato utilizzando la regressione logistica. Alcune pubblicazioni (ad esempio, questo ) indicano che l'uso della regressione di Poisson con errori standard di Huber-White è un modo basato su modelli per farlo Non …

9 r references biostatistics poisson-regression relative-risk

1

Simulazione della convergenza in probabilità a una costante

I risultati asintotici non possono essere provati dalla simulazione al computer, perché sono affermazioni che coinvolgono il concetto di infinito. Ma dovremmo essere in grado di ottenere la sensazione che le cose marciano davvero come ci dice la teoria. Considera il risultato teorico limn→∞P(|Xn|>ϵ)=0,ϵ>0limn→∞P(|Xn|>ϵ)=0,ϵ>0\lim_{n\rightarrow\infty}P(|X_n|>\epsilon) = 0, \qquad \epsilon >0 dove …

9 mathematical-statistics simulation convergence asymptotics

1

Sovracampionamento con variabili categoriali

Vorrei eseguire una combinazione di sovracampionamento e sottocampionamento al fine di bilanciare il mio set di dati con circa 4000 clienti suddivisi in due gruppi, in cui uno dei gruppi ha una percentuale di circa il 15%. Ho esaminato SMOTE ( http://www.inside-r.org/packages/cran/DMwR/docs/SMOTE ) e ROSE ( http://cran.r-project.org/web/packages/ROSE/ ROSE.pdf ), ma …

9 unbalanced-classes resampling oversampling

3

K-fold o hold-out cross validation per la regressione della cresta usando R

Sto lavorando alla convalida incrociata della previsione dei miei dati con 200 soggetti e 1000 variabili. Sono interessato alla regressione della cresta poiché il numero di variabili (che voglio usare) è maggiore del numero del campione. Quindi voglio usare gli stimatori di contrazione. Di seguito sono riportati i dati di …

9 r cross-validation prediction ridge-regression

1

Qual è la relazione tra misure di affidabilità della scala (alfa di Cronbach ecc.) E caricamenti di componenti / fattori?

Diciamo che ho un set di dati con punteggi su una serie di elementi del questionario, che sono teoricamente composti da un numero minore di scale, come nella ricerca psicologica. So che un approccio comune qui è verificare l'affidabilità delle scale usando l'alfa di Cronbach o qualcosa di simile, quindi …

9 factor-analysis reliability psychometrics cronbachs-alpha scale-construction

2

Come trovare valori ottimali per i parametri di ottimizzazione nel potenziamento degli alberi?

Mi rendo conto che ci sono 3 parametri di ottimizzazione nel modello degli alberi esaltanti, ad es il numero di alberi (numero di iterazioni) parametro di restringimento numero di divisioni (dimensioni di ciascun albero costituente) La mia domanda è: per ciascuno dei parametri di ottimizzazione, come devo trovare il suo …

9 machine-learning cross-validation computational-statistics boosting gbm

1

anova test di tipo III per un GLMM

Sto inserendo un glmermodello nel lme4pacchetto R. Sto cercando una tabella anova con il valore p mostrato al suo interno, ma non riesco a trovare nessun pacchetto adatto. È possibile farlo in R? Il modello che sto adattando ha la forma: model1<-glmer(dmn~period*teethTreated+(1|fullName), family="poisson", data=subset(dataset, group=='Four times a year'), control=glmerControl(optimizer="bobyqa"))

9 r anova lme4-nlme mixed-model