Statistiche e Big Data

Qual è il miglior classificatore di classe 2 pronto all'uso? Sì, immagino sia la domanda da un milione di dollari, e sì, sono consapevole del teorema del pranzo libero e ho anche letto le domande precedenti: Qual è il miglior classificatore di classe 2 pronto all'uso per la tua applicazione? …

15 machine-learning  classification  references 

Bloccato . Questa domanda e le sue risposte sono bloccate perché la domanda è fuori tema ma ha un significato storico. Al momento non accetta nuove risposte o interazioni. Ho il grafico in questo modo: Il codice R per generarlo è: DF <- data.frame(date = as.Date(runif(100, 0, 800),origin="2005-01-01"), outcome = …

15 r  data-visualization  ggplot2 

Considera una serie temporale semplice: > tp <- seq_len(10) > tp [1] 1 2 3 4 5 6 7 8 9 10 possiamo calcolare una matrice di adiacenza per questa serie temporale che rappresenta i collegamenti temporali tra i campioni. Nel calcolare questa matrice aggiungiamo un sito immaginario al tempo …

15 time-series  matrix-decomposition  svd 

Supponiamo che io abbia campionamenti da due popolazioni distinte. Se misuro quanto tempo impiega ciascun membro a svolgere un compito, posso facilmente stimare la media e la varianza di ogni popolazione. Se ora ipotizzo un accoppiamento casuale con un individuo per ogni popolazione, posso stimare la probabilità che il primo …

15 probability  normal-distribution 

Come posso generare serie temporali binarie tali che: È specificata la probabilità media di osservare 1 (diciamo 5%); Probabilità condizionale di osservare 1 alla volta dato il valore a (diciamo il 30% se il valore era 1)?tttt−1t−1t-1t−1t−1t-1

15 time-series  random-variable  simulation  random-generation 

Diciamo che ho un semplice esperimento fattoriale 2x2 su cui voglio fare ANOVA. In questo modo, ad esempio: d <- data.frame(a=factor(sample(c('a1','a2'), 100, rep=T)), b=factor(sample(c('b1','b2'), 100, rep=T))); d$y <- as.numeric(d$a)*rnorm(100, mean=.75, sd=1) + as.numeric(d$b)*rnorm(100, mean=1.2, sd=1) + as.numeric(d$a)*as.numeric(d$b)*rnorm(100, mean=.5, sd=1) + rnorm(100); In assenza di un'interazione significativa, per impostazione predefinita (ovvero …

15 r  anova  contrasts 

Ho un vago senso di cosa sia un metodo di passaggio di messaggi: un algoritmo che costruisce un'approssimazione a una distribuzione costruendo iterativamente approssimazioni di ciascuno dei fattori della distribuzione condizionali su tutte le approssimazioni di tutti gli altri fattori. Credo che entrambi siano esempi di passaggio di messaggi e …

15 distributions  bayesian  references  algorithms 

Sto cercando di usare la funzione ' densità ' in R per fare stime sulla densità del kernel. Ho qualche difficoltà a interpretare i risultati e confrontare vari set di dati in quanto sembra che l'area sotto la curva non sia necessariamente 1. Per qualsiasi funzione di densità di probabilità …

15 r  estimation  pdf  kernel-smoothing  auc 

Di recente ho fatto alcune analisi degli effetti della reputazione sui voti positivi (vedi il post sul blog ), e successivamente ho avuto alcune domande su analisi e grafici forse più illuminanti (o più appropriati). Quindi alcune domande (e sentiti libero di rispondere a qualcuno in particolare e di ignorare …

15 data-visualization  large-data  fixed-effects-model 

Negli studi sull'espressione genica usando microarrays, i dati di intensità devono essere normalizzati in modo che le intensità possano essere confrontate tra individui, tra geni. Concettualmente e algoritmicamente, come funziona la "normalizzazione quantile" e come spiegheresti questo a un non statistico?

15 genetics  normalization  microarray 

C'è qualche motivo di ciò a cui riesco a pensare, per trasformare i dati con una radice quadrata? Voglio dire che osservo sempre che R ^ 2 aumenta. Ma questo è probabilmente solo per aver centrato i dati! Ogni pensiero è apprezzato!

15 regression  data-transformation  variance-stabilizing 

Quali sono i vantaggi e gli svantaggi dell'apprendimento delle proprietà di una distribuzione in modo algoritmico (tramite simulazioni al computer) rispetto matematicamente? Sembra che le simulazioni al computer possano essere un metodo di apprendimento alternativo, specialmente per quei nuovi studenti che non si sentono forti nel calcolo. Inoltre sembra che …

15 distributions  algorithms  teaching 

Scegliere di parametrizzare la distribuzione gamma con il pdf La divergenza di Kullback-Leibler tra e è data da [1] comeΓ(b,c)Γ(b,c)\Gamma(b,c)g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}Γ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)Γ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p) KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Immagino che Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x) …

15 kullback-leibler  gamma-distribution  exponential-family 

Mi sono imbattuto nell'articolo di Hervé Abdi sull'SVD generalizzato. L'autore ha menzionato: La SVD generalizzata (GSVD) decompone una matrice rettangolare e tiene conto dei vincoli imposti alle righe e alle colonne della matrice. Il GSVD fornisce una stima del minimo quadrato generalizzato ponderato di una data matrice da una matrice …

15 multivariate-analysis  svd 

Questa è una specie di domanda a risposta aperta, ma voglio essere chiaro. Data una popolazione sufficiente potresti essere in grado di imparare qualcosa (questa è la parte aperta) ma qualunque cosa tu impari sulla tua popolazione, quando sarà mai applicabile a un membro della popolazione? Da quello che ho …

15 teaching  validity