Statistiche e Big Data

1

Cosa significa se la mediana o la media delle somme è maggiore della somma di quelle dei dipendenti?

Sto analizzando la distribuzione della latenza di rete. Il tempo medio di upload (U) è di 0,5 secondi. Il tempo mediano di download (D) è di 2 secondi. Tuttavia, il tempo totale mediano (per ciascun punto dati, T = U + D) è 4 s. Quali conclusioni si potrebbero trarre …

13 random-variable median summations

1

Stimatore distorto per la regressione che ottiene risultati migliori di quello imparziale nel modello Error In Variables

Sto lavorando ad alcuni dati sintatici per il modello Error In Variable per alcune ricerche. Attualmente ho una singola variabile indipendente e presumo di conoscere la varianza per il valore reale della variabile dipendente. Quindi, con queste informazioni, posso ottenere uno stimatore imparziale per il coefficiente della variabile dipendente. Il …

13 regression matlab unbiased-estimator errors-in-variables

1

Errore additivo o errore moltiplicativo?

Sono relativamente nuovo alle statistiche e gradirei aiutarlo a capirlo meglio. Nel mio campo c'è un modello comunemente usato del modulo: Pt= Po( Vt)αPt=Po(Vt)αP_t = P_o(V_t)^\alpha Quando le persone adattano il modello ai dati, di solito lo linearizzano e si adattano a quanto segue log( Pt) = log( Po) + …

13 modeling model error curve-fitting measurement-error

1

Parametri vs variabili latenti

L'ho già chiesto e ho avuto delle difficoltà a identificare ciò che rende un parametro del modello e ciò che lo rende una variabile latente. Quindi, guardando vari thread su questo argomento in questo sito, la distinzione principale sembra essere: Le variabili latenti non sono osservate ma hanno una distribuzione …

13 bayesian modeling random-variable latent-variable

2

Qual è la differenza tra la selezione delle funzioni e la riduzione della dimensionalità?

So che sia la selezione delle funzioni che la riduzione della dimensionalità mirano a ridurre il numero di funzioni nel set di funzioni originale. Qual è la differenza esatta tra i due se stiamo facendo la stessa cosa in entrambi?

13 machine-learning pca feature-selection dimensionality-reduction

3

Perché la traccia di

Nel modello y=Xβ+ϵy=Xβ+ϵ{y} = X \beta + \epsilon , potremmo stimare ββ\beta usando l'equazione normale ： β^=(X′X)−1X′y,β^=(X′X)−1X′y,\hat{\beta} = (X'X)^{-1}X'y,e potremmo ottenere y =X β .y^=Xβ^.y^=Xβ^.\hat{y} = X \hat{\beta}. Il vettore dei residui è stimato da ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q …

13 regression least-squares inference

2

Diagramma Box-and-Whisker per distribuzione multimodale

Posso usare i grafici box-and-whisker anche per la distribuzione multimodale o solo per la distribuzione unimodale?

13 distributions data-visualization boxplot

2

Procedura e metodi di analisi della multiproprietà utilizzando R

Sto lavorando a un piccolo progetto in cui stiamo cercando di prevedere i prezzi delle materie prime (petrolio, alluminio, stagno, ecc.) Per i prossimi 6 mesi. Ho 12 di tali variabili da prevedere e ho dati da aprile 2008 a maggio 2013. Come devo fare per la previsione? Ho fatto …

13 r time-series forecasting neural-networks arima

1

La comunità di apprendimento automatico che abusa è "condizionata" e "parametrizzata da"?

Supponiamo che dipenda da α . A rigor di termini,XXXαα\alpha se e α sono entrambe variabili casuali, potremmo scrivere p ( X ∣ α ) ;XXXαα\alphap(X∣α)p(X∣α)p(X\mid\alpha) tuttavia, se è una variabile casuale e α è un parametro, dobbiamo scrivere p ( X ; α ) .XXXαα\alphap(X;α)p(X;α)p(X; \alpha) Ho notato più …

13 machine-learning terminology

3

Qual è la migliore verosimiglianza massima o marginale e perché?

Mentre eseguiamo la regressione se andiamo dalla definizione di: Qual è la differenza tra una probabilità parziale, la probabilità del profilo e la probabilità marginale? quello, massima verosimiglianza Trova β e θ che massimizza L (β, θ | dati). Mentre, verosimiglianza marginale Integriamo θ dall'equazione di verosimiglianza sfruttando il fatto …

13 regression maximum-likelihood

1

Test per la cointegrazione tra due serie storiche utilizzando il metodo a due fasi Engle – Granger

Sto cercando di testare la cointegrazione tra due serie storiche. Entrambe le serie hanno una durata settimanale di circa 3 anni. Sto provando a fare il metodo in due fasi Engle-Granger. Segue il mio ordine delle operazioni. Prova ogni serie storica per unità radice tramite Dickey-Fuller aumentato. Supponendo che entrambi …

13 time-series cointegration unit-root augmented-dickey-fuller

4

Buone pratiche per l'analisi statistica in un ambiente aziendale

(Anche se mi rendo conto che non si tratta solo di statistiche, si tratta della diffusione di statistiche in un ambiente aziendale, quindi ho ipotizzato che rientri ancora nella gamma di argomenti del CV) Un po 'di background: Il nostro ambiente aziendale (e sospetto che altri ambienti) abbiano una funzione …

13 business-intelligence consulting

2

U-test di Mann-Whitney: intervallo di confidenza per la dimensione dell'effetto

Secondo Fritz, Morris e Richler (2011; vedi sotto), può essere calcolato come una dimensione dell'effetto per il test U di Mann-Whitney usando la formula r = zrrr Questo è conveniente per me, poiché riportoranche in altre occasioni. Vorrei segnalare l'intervallo di confidenza perrr=zN−−√r=zN r = \frac{z}{\sqrt N} rrrrrr oltre alla …

13 confidence-interval effect-size wilcoxon-mann-whitney spearman-rho

3

Perché l'efficienza relativa asintotica del test di Wilcoxon

È noto che l'efficienza relativa asintotica (ARE) del test di rango firmato Wilcoxon è 3π≈ 0.9553π≈0,955\frac{3}{\pi} \approx 0.955rispetto altesttdi Student, se i dati sono tratti da una popolazione normalmente distribuita. Ciò vale sia per il test di base a un campione che per la variante per due campioni indipendenti (Wilcoxon-Mann-Whitney …

13 nonparametric wilcoxon-mann-whitney asymptotics efficiency wilcoxon-signed-rank

1

R: testare la normalità dei residui del modello lineare - quali residui utilizzare

Vorrei fare un test W di Shapiro Wilk e un test Kolmogorov-Smirnov sui residui di un modello lineare per verificare la normalità. Mi stavo solo chiedendo quali residui dovrebbero essere usati per questo - i residui grezzi, i residui di Pearson, i residui studentizzati o i residui standardizzati? Per un …

13 r regression residuals normality-assumption lm