Domande taggate «entropy»

Una quantità matematica progettata per misurare la quantità di casualità di una variabile casuale.

1
Qual è l'intuizione dietro i campioni scambiabili sotto l'ipotesi nulla?
I test di permutazione (chiamati anche test di randomizzazione, test di ri-randomizzazione o test esatto) sono molto utili e sono utili quando l'assunzione della distribuzione normale richiesta da per esempio t-testnon è soddisfatta e quando la trasformazione dei valori per classifica del test non parametrici come Mann-Whitney-U-testquesto porterebbero alla perdita …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 
3
Definizione e origine di "cross entropia"
Senza citare fonti, Wikipedia definisce il cross-entropia di distribuzioni discrete e siaPPPQQQ H×( P; Q )= - ∑Xp ( x )logq( x ) .H×(P;Q)=-ΣXp(X)log⁡q(X).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Chi è stato il primo a iniziare a utilizzare questa quantità? E chi ha inventato questo termine? Ho …
1
Qualitivamente cos'è l'entropia incrociata
Questa domanda fornisce una definizione quantitativa dell'entropia crociata, in termini di formula. Sto cercando una definizione più nozionale, Wikipedia dice: Nella teoria dell'informazione, l'entropia incrociata tra due distribuzioni di probabilità misura il numero medio di bit necessari per identificare un evento da un insieme di possibilità, se uno schema di …
1
Come interpretare l'entropia differenziale?
Di recente ho letto questo articolo sull'entropia di una distribuzione di probabilità discreta. Descrive un bel modo di pensare all'entropia come i bit numerici previsti (almeno quando si utilizza il log2log2\log_2 nella definizione dell'entropia) necessari per codificare un messaggio quando la codifica è ottimale, data la distribuzione di probabilità delle …
4
Concetto di set tipico
Ho pensato che il concetto di set tipico fosse piuttosto intuitivo: una sequenza di lunghezza sarebbe appartenuta al set tipico A ( n ) ϵ se la probabilità che la sequenza venisse fuori era alta. Quindi, qualsiasi sequenza che probabilmente sarebbe stata in A ( n ) ϵ . (Sto …
1
Derivazione della negentropia. Rimanere bloccati
Quindi, questa domanda è in qualche modo coinvolta, ma ho cercato scrupolosamente di renderla il più semplice possibile. Obiettivo: per farla breve, c'è una derivazione della negentropia che non lo fa coinvolge cumulativi di ordine superiore e sto cercando di capire come è stata derivata. Contesto: (capisco tutto questo) Sto …
1
Entropia differenziale
L'entropia differenziale del camper gaussiano è . Questo dipende da , che è la deviazione standard.σlog2( σ2 πe---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Se normalizziamo la variabile casuale in modo che abbia varianza unitaria, la sua entropia differenziale diminuisce. Per me questo è controintuitivo perché la complessità di Kolmogorov della costante normalizzante dovrebbe …
5
Come eseguire l'imputazione dei valori in un numero molto elevato di punti dati?
Ho un set di dati molto grande e mancano circa il 5% di valori casuali. Queste variabili sono correlate tra loro. Il seguente set di dati R è solo un esempio di giocattolo con dati correlati fittizi. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), …
12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.