Domande taggate «entropy»

Ho implementato la seguente funzione per calcolare l'entropia: from math import log def calc_entropy(probs): my_sum = 0 for p in probs: if p > 0: my_sum += p * log(p, 2) return - my_sum Risultato: >>> calc_entropy([1/7.0, 1/7.0, 5/7.0]) 1.1488348542809168 >>> from scipy.stats import entropy # using a built-in package …

11 mathematical-statistics  python  entropy 

Una delle questioni importanti che devono affrontare i meteorologi è se la serie data può essere prevista o no? Mi sono imbattuto in un articolo intitolato " Entropia come indicatore a priori della prevedibilità " di Peter Catt che utilizza l' entropia approssimata (ApEn) come misura relativa per determinare una …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Cercare di capire la relazione tra entropia incrociata e perplessità. In generale per un modello M , Perplexity (M) = 2 ^ entropia (M) . Questa relazione vale per tutti i diversi n-grammi, ovvero unigram, bigram ecc.?

10 natural-language  entropy  perplexity 

Ho osservato che Caffe (un framework di apprendimento profondo) utilizzava lo strato di perdita di Softmax SoftmaxWithLoss come strato di output per la maggior parte dei campioni di modello . Per quanto ne so, il livello Softmax Loss è la combinazione di Multinomial Logistic Loss Layer e Softmax Layer . …

9 multinomial  entropy  sums-of-squares  softmax 

Sto cercando di capire la forma normalizzata di informazioni reciproche puntuali. n p m i = p m i ( x , y)L o g( p ( x , y) )npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Perché la probabilità congiunta del log normalizza l'informazione reciproca puntuale tra [-1, 1]? Le informazioni reciproche puntuali …

9 entropy  information-theory  mutual-information 

Breve domanda: perché è vero ?? Domanda lunga: Molto semplicemente, sto cercando di capire cosa giustifica questa prima equazione. L'autore del libro che sto leggendo (contesto qui se lo si desidera, ma non necessario), afferma quanto segue: A causa dell'assunto di quasi gaussianità, possiamo scrivere: p0( ξ) = Aϕ ( …

9 probability  normal-distribution  entropy  maximum-entropy 

Quindi, ho 16 prove in cui sto cercando di autenticare una persona da un tratto biometrico usando Hamming Distance. La mia soglia è impostata su 3,5. I miei dati sono di seguito e solo la versione di prova 1 è un vero positivo: Trial Hamming Distance 1 0.34 2 0.37 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Saluti, Attualmente sto facendo quanto segue in R: require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) Snip di summary.csv: date,revision,file,lines,nclass,nattr,nrel,bytes,compressed,diff,dcomp 2007-07-25,16,model.xml,96,11,22,5,4035,991,0,0 2007-07-27,17,model.xml,115,16,26,6,4740,1056,53,777 …

9 r  time-series  data-visualization  entropy