Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

Libro di testo derivato da Metropolis-Hastings e Gibbs Sampling

Ho una buona esperienza pratica con il campionamento di Metropolis-Hastings e Gibbs, ma voglio ottenere una migliore comprensione matematica di questi algoritmi. Quali sono alcuni buoni libri di testo o articoli che dimostrano la correttezza di questi campionatori (anche altri algoritmi sarebbero grandi)?

10 bayesian references mcmc

Tempo medio di sopravvivenza per una funzione di sopravvivenza normale al tronco

Ho trovato molte formule che mostrano come trovare il tempo medio di sopravvivenza per una distribuzione esponenziale o Weibull, ma sto avendo molta meno fortuna per le normali funzioni di sopravvivenza. Data la seguente funzione di sopravvivenza: S( t ) = 1 - ϕ [ ln( t ) - μσ]S(t)=1−ϕ[ln⁡(t)−μσ]S(t) …

10 survival

Sulla correlazione copenica per il clustering di dendrogrammi

Considera il contesto di un cluster di dendrogrammi. Chiamiamo differenze originali tra le distanze degli individui. Dopo aver costruito il dendrogramma definiamo la dissomiglianza cophenetic tra due individui come la distanza tra i cluster a cui questi individui appartengono. Alcune persone ritengono che la correlazione tra le differenze originarie e …

10 clustering classification

Il modo migliore per combinare la risposta binaria e continua

Sto cercando di trovare il modo migliore per prevedere l'importo del pagamento per un'agenzia di riscossione. La variabile dipendente è diversa da zero quando è stato effettuato un pagamento. Comprensibilmente, esiste un numero schiacciante di zeri perché la maggior parte delle persone non può essere raggiunta o non può rimborsare …

10 regression predictive-models logistic

Come modellare una moneta distorta con distorsione temporale?

I modelli di monete di parte hanno in genere un parametro . Un modo per stimare da una serie di estrazioni è usare una beta precedente e calcolare la distribuzione posteriore con probabilità binomiale.θθ = P( Testa | θ )θ=P(Head|θ)\theta = P(\text{Head} | \theta)θθ\theta Nelle mie impostazioni, a causa di …

10 time-series bayesian kalman-filter

Perché gli effetti casuali sono ridotti a 0?

C'è un motivo intuitivo per cui gli effetti casuali devono essere ridotti al loro valore previsto nel modello misto lineare generale?

10 mixed-model random-effects-model

Valori critici di Wilcoxon-Mann-Whitney in R

Ho notato che quando provo a trovare i valori critici per l'U Mann-Whitney usando R, i valori sono sempre 1 + valore critico. Ad esempio, per , il valore critico (a due code) è 8, mentre per , il (a due code ) il valore critico è 22 (controlla le …

10 r hypothesis-testing nonparametric wilcoxon-mann-whitney

Raccordo distribuzione log-normale in R vs. SciPy

Ho montato un modello lognormale usando R con un set di dati. I parametri risultanti erano: meanlog = 4.2991610 sdlog = 0.5511349 Vorrei trasferire questo modello su Scipy, che non avevo mai usato prima. Usando Scipy, sono stato in grado di ottenere una forma e una scala di 1 e …

10 r python numpy scipy

Qual è il modo più efficiente di addestrare i dati usando meno memoria?

Questi sono i miei dati di allenamento: 200.000 esempi x 10.000 funzioni. Quindi la mia matrice di dati di allenamento è - 200.000 x 10.000. Sono riuscito a salvarlo in un file flat senza problemi di memoria salvando ogni set di dati uno per uno (un esempio dopo l'altro) mentre …

10 machine-learning dataset algorithms python

Rilevamento di cluster di codici sorgente "simili"

Supponiamo che io abbia 400 studenti (che sono in una grande università) che devono fare un progetto di informatica e che devono lavorare da soli (nessun gruppo di studenti). Un esempio di progetto potrebbe essere quello di "implementare un algoritmo di trasformazione di Fourier veloce in fortran" (lo so, non …

10 hypothesis-testing clustering

Come interpretare questi contrasti personalizzati?

Sto realizzando un ANOVA a senso unico (per specie) con contrasti personalizzati. [,1] [,2] [,3] [,4] 0.5 -1 0 0 0 5 1 -1 0 0 12.5 0 1 -1 0 25 0 0 1 -1 50 0 0 0 1 dove confronto intensità 0,5 contro 5, 5 contro 12,5 …

10 r anova contrasts generalized-least-squares

Come si usa l'algoritmo EM per calcolare gli MLE per una formulazione variabile latente di un modello di Poisson gonfiato zero?

Il modello di regressione di Poisson gonfiato a zero è definito per un campione per Y i = { 0 con probabilità p i + ( 1 - p i ) e - λ i k con probabilità ( 1 - p i ) e - λ i λ k …

10 generalized-linear-model maximum-likelihood poisson-distribution expectation-maximization latent-variable

La frequenza degli alleli osservati è significativamente inferiore a quella prevista?

Domanda : Come posso costruire un test per determinare se la frequenza osservata "montagna" -allele (Fig 1) è significativamente più bassa nelle montagne dal centro al sud di quanto previsto (Fig 2) dal modello di selezione ecologica ( vedi sotto per i dettagli )? Problema : il mio pensiero iniziale …

10 hypothesis-testing statistical-significance residuals gam

Analisi delle serie temporali asincrone (irregolari)

Sto cercando di analizzare il ritardo tra le serie storiche di due corsi azionari. Nell'analisi periodica delle serie temporali, possiamo eseguire Cross Correlaton, VECM (Granger Causality). Tuttavia, come si fa a gestire lo stesso nelle serie temporali con spaziatura irregolare. L'ipotesi è che uno degli strumenti porti l'altro. Ho dati …

10 r time-series cross-correlation unevenly-spaced-time-series

Perché ottengo risultati incredibilmente diversi per poly (raw = T) vs. poly ()?

Voglio modellare due diverse variabili temporali, alcune delle quali sono fortemente collineari nei miei dati (età + coorte = periodo). In questo modo mi sono imbattuto in alcuni problemi con ee lmerinterazioni di poly(), ma probabilmente non è limitato a lmer, ho ottenuto gli stessi risultati con nlmeIIRC. Ovviamente manca …

10 r lme4-nlme polynomial

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.