Statistiche e Big Data

1

Matrice di covarianza per il processo gaussiano e la distribuzione di Wishart

Sto leggendo questo documento sui processi generalizzati di Wishart (GWP). L'articolo calcola le covarianze tra diverse variabili casuali (seguendo il processo gaussiano ) usando la funzione di covarianza esponenziale quadrata, ovvero . Dice quindi che questa matrice di covarianza segue GWP.K(x,x′)=exp(−|(x−x′)|22l2)K(x,x′)=exp⁡(−|(x−x′)|22l2)K(x,x') = \exp\left(-\frac{|(x-x')|^2}{2l^2}\right) Pensavo che una matrice di covarianza calcolata …

11 machine-learning normal-distribution covariance wishart nonparametric-bayes

2

Interpretazione del diagramma QQ

Considera il seguente codice e output: par(mfrow=c(3,2)) # generate random data from weibull distribution x = rweibull(20, 8, 2) # Quantile-Quantile Plot for different distributions qqPlot(x, "log-normal") qqPlot(x, "normal") qqPlot(x, "exponential", DB = TRUE) qqPlot(x, "cauchy") qqPlot(x, "weibull") qqPlot(x, "logistic") Sembra che quel diagramma QQ per log-normal sia quasi uguale …

11 r data-visualization interpretation qq-plot

2

Qual è una buona visualizzazione per le regressioni di Poisson?

Voglio associare i difetti di codice a metriche di complessità del codice come la vicinanza. Un modello comune è quello di vedere questo come un processo di Poisson, in cui la durata è il tempo impiegato per la codifica e la densità è una funzione della complessità del codice. Sono …

11 regression data-visualization poisson-distribution

2

Come trovo la misura di correlazione tra due variabili nominali?

È stato realizzato un sondaggio in cui le persone hanno scelto ciò che usano una certa faccina per rappresentare e sono entrati nel loro paese di origine. Ho ricodificato le risposte testuali in numerico. Quale forma di analisi dovrebbe essere usata (preferibilmente in SPSS) per verificare il livello di correlazione …

11 correlation spss categorical-data

5

Cosa fare con le variabili collineari

Disclaimer: questo è per un progetto di compiti a casa. Sto cercando di trovare il modello migliore per i prezzi dei diamanti, a seconda di diverse variabili e finora sembra che abbia un modello abbastanza buono. Tuttavia ho incontrato due variabili che sono ovviamente collineari: >with(diamonds, cor(data.frame(Table, Depth, Carat.Weight))) Table …

11 regression correlation self-study model-selection multicollinearity

8

Quale software statistico è adatto per insegnare un corso introduttivo di statistica in scienze sociali?

Sto cercando un pacchetto software statistico che posso usare in un corso introduttivo di statistica per un programma di studio delle scienze sociali. Gli studenti non hanno alcuna conoscenza preliminare delle statistiche e nessuna esperienza con i linguaggi di programmazione. L'obiettivo è di introdurli a concetti statistici di base (come …

11 software teaching

1

Comprensione intuitiva covarianza, covarianza incrociata, correlazione automatica / incrociata e densità dello spettro di potenza

Attualmente sto studiando per le mie finali in statistiche di base per il mio scapolo ECE. Mentre penso di avere la matematica per lo più giù, mi manca la comprensione intuitiva del significato reale dei numeri (Preambolo: userò un linguaggio piuttosto sciatto). So che E [X] è la "media ponderata" …

11 mathematical-statistics stochastic-processes covariance pdf

5

Se non un Poisson, quale distribuzione è questa?

Ho un set di dati contenente il numero di azioni eseguite da singoli nel corso di 7 giorni. L'azione specifica non dovrebbe essere pertinente per questa domanda. Ecco alcune statistiche descrittive per il set di dati: RangeMeanVarianceNumber of observations0−77218.22791696Range0−772Mean18.2Variance2791Number of observations696 \begin{array}{|c|c|} \hline \text{Range} & 0 - 772 \\ \hline …

11 r distributions poisson-distribution mean sample

1

Funzione di costo per la validazione dei modelli di regressione di Poisson

Per i dati di conteggio che ho raccolto, utilizzo la regressione di Poisson per creare modelli. Lo faccio usando la glmfunzione in R, dove uso family = "poisson". Per valutare possibili modelli (ho diversi predittori) uso l'AIC. Fin qui tutto bene. Ora voglio eseguire la convalida incrociata. Sono già riuscito …

11 r generalized-linear-model poisson-distribution

1

I gradi di libertà per il test di Welch sono sempre inferiori al DF del test in pool?

Sto insegnando un corso sulle statistiche di base e stiamo facendo il test t per due campioni indipendenti con varianze ineguali (test di Welch). Negli esempi che ho visto, i gradi di libertà adeguati utilizzati dal test Welch sono sempre inferiori o uguali a . n1+ n2- 2n1+n2−2n_1+n_2-2 È sempre …

11 hypothesis-testing t-test

1

Rao-Blackwellization di filtri Monte Carlo sequenziali

Nel seminario "Rao-Blackwellised Particing Filtering for Dynamic Bayesian Networks" di A. Doucet et. al. viene proposto un filtro monte carlo sequenziale (filtro antiparticolato) che utilizza una sottostruttura lineare in un processo markov . Tramite l'emarginazione di questa struttura lineare, il filtro può essere diviso in due parti: una parte non …

11 monte-carlo particle-filter

1

Come si può rilevare se un processo gaussiano è troppo adatto?

Sto addestrando un processo gaussiano con un kernel ARD con molti parametri massimizzando la verosimiglianza marginale dei dati, anziché la convalida incrociata. Ho il sospetto che sia troppo adatto. Come posso provare questo sospetto in un contesto bayesiano?

11 machine-learning cross-validation gaussian-process

2

Misure di separabilità delle classi nei problemi di classificazione

Un esempio di buona misura della separabilità delle classi negli studenti discriminanti lineari è il rapporto discriminante lineare di Fisher. Esistono altre metriche utili per determinare se i set di funzionalità forniscono una buona separazione delle classi tra le variabili target? In particolare, sono interessato a trovare buoni attributi di …

11 machine-learning classification feature-selection discriminant-analysis

3

Importanza delle variabili nella regressione logistica

Probabilmente sto affrontando un problema che è stato probabilmente risolto centinaia di volte prima, ma non sono sicuro di dove trovare la risposta. Quando si utilizza la regressione logistica, date molte funzioni e si cerca di prevedere un valore categorico binario , sono interessato a selezionare un sottoinsieme delle funzionalità …

11 machine-learning logistic classification

2

Campionamento con sostituzione in R randomForest

L'implementazione randomForest non consente il campionamento oltre il numero di osservazioni, anche quando si campiona con la sostituzione. Perchè è questo? Funziona bene: rf <- randomForest(Species ~ ., iris, sampsize=c(1, 1, 1), replace=TRUE) rf <- randomForest(Species ~ ., iris, sampsize=3, replace=TRUE) Cosa voglio fare: rf <- randomForest(Species ~ ., iris, …

11 r sampling random-forest stratification oversampling