Domande taggate «information-theory»

Una branca della matematica / statistica utilizzata per determinare la capacità di trasportare informazioni di un canale, sia che venga utilizzato per la comunicazione sia che sia definito in senso astratto. L'entropia è una delle misure con cui i teorici dell'informazione possono quantificare l'incertezza implicata nella previsione di una variabile casuale.

2
Differenze tra distanza di Bhattacharyya e divergenza di KL
Sto cercando una spiegazione intuitiva per le seguenti domande: Nella statistica e nella teoria dell'informazione, qual è la differenza tra la distanza di Bhattacharyya e la divergenza di KL, come misure della differenza tra due distribuzioni di probabilità discrete? Non hanno assolutamente relazioni e misurano la distanza tra due distribuzioni …
5
Guadagno di informazioni, informazione reciproca e misure correlate
Andrew More definisce il guadagno di informazioni come: IG(Y|X)=H(Y)−H(Y|X)IG(Y|X)=H(Y)−H(Y|X)IG(Y|X) = H(Y) - H(Y|X) dove è l' entropia condizionale . Tuttavia, Wikipedia chiama le informazioni reciproche sulla quantità di cui sopra .H(Y|X)H(Y|X)H(Y|X) Wikipedia, d'altra parte, definisce il guadagno di informazioni come la divergenza di Kullback-Leibler (nota anche come divergenza di informazioni …
4
Misure di somiglianza o distanza tra due matrici di covarianza
Esistono misure di somiglianza o distanza tra due matrici di covarianza simmetriche (entrambe aventi le stesse dimensioni)? Qui sto pensando ad analoghi alla divergenza di KL di due distribuzioni di probabilità o alla distanza euclidea tra vettori tranne che applicata alle matrici. Immagino che ci sarebbero parecchie misurazioni di somiglianza. …
3
Interpretazione statistica della massima distribuzione di entropia
Ho usato il principio della massima entropia per giustificare l'uso di diverse distribuzioni in vari contesti; tuttavia, devo ancora essere in grado di formulare un'interpretazione statistica, al contrario di quella teorica dell'informazione, della massima entropia. In altre parole, cosa implica massimizzare l'entropia riguardo alle proprietà statistiche della distribuzione? Qualcuno ha …
4
Quali sono i valori corretti per precisione e richiamo nei casi limite?
La precisione è definita come: p = true positives / (true positives + false positives) È corretto che, come true positivese false positivesavvicinarsi a 0, la precisione si avvicina a 1? Stessa domanda da ricordare: r = true positives / (true positives + false negatives) Attualmente sto implementando un test …
20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 
3
L'algoritmo MIC per rilevare correlazioni non lineari può essere spiegato in modo intuitivo?
Più recentemente, ho letto due articoli. Il primo riguarda la storia della correlazione e il secondo riguarda il nuovo metodo chiamato Maximal Information Coefficient (MIC). Ho bisogno del tuo aiuto per capire il metodo MIC per stimare le correlazioni non lineari tra le variabili. Inoltre, le istruzioni per l'uso in …
2
Cos'è l'entropia empirica?
Nella definizione di insiemi congiuntamente tipici (in "Elements of Information Theory", cap. 7.6, p. 195), usiamo - 1nlogp ( xn)-1nlog⁡p(Xn)-\frac{1}{n} \log{p(x^n)}comeentropia empiricadi unaconseguenza con. Non ho mai trovato questa terminologia prima d'ora. Non è definito esplicitamente da nessuna parte in base all'indice del libro.p ( x n ) = ∏ …
2
Limitare l'informazione reciproca dato limiti all'informazione reciproca puntuale
Supponiamo che io abbia due insiemi e e una distribuzione di probabilità congiunta su questi insiemi . Let e indicano le distribuzioni marginali oltre e rispettivamente.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Le informazioni reciproche tra e sono definite come: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) cioè è il valore medio dell'informazione reciproca puntuale pmi .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) …
1
Perché la divergenza di KL non è negativa?
Perché la divergenza di KL non è negativa? Dal punto di vista della teoria dell'informazione, ho una comprensione così intuitiva: Supponiamo che ci siano due ensemble e che sono composti dallo stesso insieme di elementi etichettati da . e sono diverse distribuzioni di probabilità rispettivamente sull'ensemble eAAABBBxxxp(x)p(x)p(x)q(x)q(x)q(x)AAABBB Dalla prospettiva della …
2
Calcolo dell'AIC "a mano" in R
Ho provato a calcolare l'AIC di una regressione lineare in R ma senza usare la AICfunzione, in questo modo: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Tuttavia, AICfornisce un valore diverso: AIC(lm_mtcars) [1] 190.7999 Qualcuno potrebbe dirmi cosa sto facendo di sbagliato?
1
Qual è l'intuizione dietro i campioni scambiabili sotto l'ipotesi nulla?
I test di permutazione (chiamati anche test di randomizzazione, test di ri-randomizzazione o test esatto) sono molto utili e sono utili quando l'assunzione della distribuzione normale richiesta da per esempio t-testnon è soddisfatta e quando la trasformazione dei valori per classifica del test non parametrici come Mann-Whitney-U-testquesto porterebbero alla perdita …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.