Statistiche e Big Data

1

Correzione per imprecisione dell'orologio normalmente distribuita

Ho un esperimento che viene eseguito su centinaia di computer distribuiti in tutto il mondo che misura le occorrenze di determinati eventi. Ciascuno degli eventi dipende l'uno dall'altro, quindi posso ordinarli in ordine crescente e quindi calcolare la differenza di tempo. Gli eventi dovrebbero essere distribuiti in modo esponenziale ma …

10 error measurement-error exponential

2

Semplice approssimazione della distribuzione cumulativa di Poisson nella coda lunga?

Voglio decidere la capacità di una tabella in modo che abbia probabilità residue inferiori a da traboccare per un dato , supponendo che il numero di voci segua una legge di Poisson con un dato aspettativa .2 - p p ∈ [ 40 … 120 ] E ∈ [ 10 …

10 poisson-distribution

2

Confuso sull'intervallo di confidenza

Sono confuso sul concetto di intervallo di confidenza. In particolare, supponiamo che esista una variabile gaussiana con conosciuta, e sono interessato al limite inferiore della media con un livello di confidenza del .σX∼ N( Μ , σ)X∼N(μ,σ)X \sim N(\mu, \sigma)σσ\sigma 95 %μLμL\mu_L95 %95%95\% Farò l'esperimento per volte e osserverò , …

10 confidence-interval

2

La multicollinearità è implicita nelle variabili categoriali?

Ho notato mentre armeggiavo con un modello di regressione multivariata c'era un piccolo ma evidente effetto multicollinearità, misurato da fattori di inflazione di varianza, all'interno delle categorie di una variabile categoriale (ovviamente dopo aver escluso la categoria di riferimento). Ad esempio, supponiamo di avere un set di dati con la …

10 regression categorical-data multicollinearity

3

Selezione delle funzioni utilizzando le informazioni reciproche in Matlab

Sto cercando di applicare l'idea di informazioni reciproche per la selezione delle funzioni, come descritto in queste note di lezione (a pagina 5). La mia piattaforma è Matlab. Un problema che riscontro nel calcolo delle informazioni reciproche da dati empirici è che il numero è sempre distorto verso l'alto. Ho …

10 matlab feature-selection information-theory mutual-information

1

randomForest e bug di importanza variabile?

Non ottengo la differenza tra rfobject$importancee importance(rfobject)nella colonna MeanDecreaseAccuracy. Esempio: > data("iris") > fit <- randomForest(Species~., data=iris, importance=TRUE) > fit$importance setosa versicolor virginica MeanDecreaseAccuracy MeanDecreaseGini Sepal.Length 0.027078501 0.019418330 0.040497602 0.02898837 9.173648 Sepal.Width 0.008553449 0.001962036 0.006951771 0.00575489 2.472105 Petal.Length 0.313303381 0.291818815 0.280981959 0.29216790 41.284869 Petal.Width 0.349686983 0.318527008 0.270975757 0.31054451 46.323415 > …

10 r random-forest importance

1

È possibile addestrare un modello di P (Y | X) mediante discesa gradiente stocastica da campioni non iid di P (X) e campioni iid di P (Y | X)?

Durante l'addestramento di un modello parametrico (ad es. Per massimizzare la probabilità) tramite la discesa stocastica del gradiente su alcuni set di dati, si presume comunemente che i campioni di allenamento siano estratti dalla distribuzione dei dati di allenamento. Quindi, se l'obiettivo è quello di modellare una distribuzione congiunta , …

10 machine-learning conditional-probability reinforcement-learning gradient-descent

2

Coefficiente di regressione logistica esponenziale diverso dal rapporto di probabilità

A quanto ho capito, il valore beta esponenziale da una regressione logistica è il rapporto di probabilità di quella variabile per la variabile di interesse dipendente. Tuttavia, il valore non corrisponde al rapporto di probabilità calcolato manualmente. Il mio modello prevede l'arresto della crescita (una misura della malnutrizione) utilizzando, tra …

10 regression logistic interpretation odds-ratio

4

Regolarizzazione che induce la scarsità per matrici stocastiche

È noto (ad esempio nel campo del rilevamento compressivo) che la norma è "inducente la scarsità", nel senso che se minimizziamo il funzionale (per matrice fissa A e vettore \ vec {b} ) f_ {A , \ vec {b}} (\ vec {x}) = \ | A \ vec {x} - …

10 regression matrix normalization regularization sparse

2

Distribuzione asintotica della statistica del massimo ordine delle normali casuali IID

C'è una limitazione bel distribuzione di come n va a \ infty , supponendo che essi siano IID distribuzioni normali con varianza \ sigma ^ 2 .max(X1,X2,...,Xn)max(X1,X2,...,Xn)\max( X_1,X_2,...,X_n) nnn∞∞\inftyσ2σ2\sigma^2 Questo è quasi certamente un problema ben noto con una prova intelligente e una buona soluzione, ma ho cercato e non …

10 distributions probability extreme-value

1

"Teorema del limite centrale" per la somma ponderata delle variabili casuali correlate

Sto leggendo un documento che lo afferma X^K= 1N--√Σj = 0N- 1Xje- i 2 πk j / N,X^K=1NΣj=0N-1Xje-io2πKj/N,\hat{X}_k=\frac{1}{\sqrt{N}}\sum_{j=0}^{N-1}X_je^{-i2\pi kj/N}, (ovvero la Trasformata di Fourier discreta , DFT) del CLT tende a una variabile casuale gaussiana (complessa). Tuttavia, so che questo non è vero in generale. Dopo aver letto questo argomento …

10 time-series central-limit-theorem fourier-transform

2

Qual è la normale approssimazione della distribuzione multinomiale?

Se ci sono più approssimazioni possibili, sto cercando quella più semplice.

10 normal-distribution multinomial approximation

1

Domande su come specificare modelli misti lineari in R per dati di misure ripetute con struttura di annidamento aggiuntiva

Struttura dati > str(data) 'data.frame': 6138 obs. of 10 variables: $ RT : int 484 391 422 516 563 531 406 500 516 578 ... $ ASCORE : num 5.1 4 3.8 2.6 2.7 6.5 4.9 2.9 2.6 7.2 ... $ HSCORE : num 6 2.1 7.9 1 6.9 8.9 …

10 r mixed-model repeated-measures model-selection lme4-nlme

4

Perché usare le variabili di controllo nelle differenze nelle differenze?

Ho una domanda sull'approccio delle differenze nelle differenze con la seguente equazione standard: dove trattare è una variabile dummy per il gruppo trattato e post. y= a + b1trattare + b2posta + b3tratta ⋅ post + uy=a+b1treat+b2post+b3treat⋅post+u y= a + b_1\text{treat}+ b_2\text{post} + b_3\text{treat}\cdot\text{post} + u Ora, la mia domanda …

10 regression multiple-regression causality

2

Curtosi gigantesca?

Sto facendo alcune statistiche descrittive dei rendimenti giornalieri degli indici azionari. Vale a dire se e P 2 sono i livelli dell'indice rispettivamente il giorno 1 e il giorno 2, quindi l o g e ( P 2P1P1P_1P2P2P_2è il ritorno che sto usando (completamente standard in letteratura).loge(P2P1)loge(P2P1)log_e (\frac{P_2}{P_1}) Quindi la …

10 distributions finance skewness kurtosis