Domande taggate «information-theory»

Una branca della matematica / statistica utilizzata per determinare la capacità di trasportare informazioni di un canale, sia che venga utilizzato per la comunicazione sia che sia definito in senso astratto. L'entropia è una delle misure con cui i teorici dell'informazione possono quantificare l'incertezza implicata nella previsione di una variabile casuale.

3
Definizione e origine di "cross entropia"
Senza citare fonti, Wikipedia definisce il cross-entropia di distribuzioni discrete e siaPPPQQQ H×( P; Q )= - ∑Xp ( x )logq( x ) .H×(P;Q)=-ΣXp(X)log⁡q(X).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Chi è stato il primo a iniziare a utilizzare questa quantità? E chi ha inventato questo termine? Ho …
1
Qualitivamente cos'è l'entropia incrociata
Questa domanda fornisce una definizione quantitativa dell'entropia crociata, in termini di formula. Sto cercando una definizione più nozionale, Wikipedia dice: Nella teoria dell'informazione, l'entropia incrociata tra due distribuzioni di probabilità misura il numero medio di bit necessari per identificare un evento da un insieme di possibilità, se uno schema di …
1
Come interpretare l'entropia differenziale?
Di recente ho letto questo articolo sull'entropia di una distribuzione di probabilità discreta. Descrive un bel modo di pensare all'entropia come i bit numerici previsti (almeno quando si utilizza il log2log2\log_2 nella definizione dell'entropia) necessari per codificare un messaggio quando la codifica è ottimale, data la distribuzione di probabilità delle …
4
Concetto di set tipico
Ho pensato che il concetto di set tipico fosse piuttosto intuitivo: una sequenza di lunghezza sarebbe appartenuta al set tipico A ( n ) ϵ se la probabilità che la sequenza venisse fuori era alta. Quindi, qualsiasi sequenza che probabilmente sarebbe stata in A ( n ) ϵ . (Sto …
1
Utilizzo delle informazioni reciproche per stimare la correlazione tra una variabile continua e una variabile categoriale
Per quanto riguarda il titolo, l'idea è quella di utilizzare le informazioni reciproche, qui e dopo MI, per stimare la "correlazione" (definita come "quanto so di A quando conosco B") tra una variabile continua e una variabile categoriale. Ti racconterò i miei pensieri sull'argomento tra un momento, ma prima di …
1
Entropia differenziale
L'entropia differenziale del camper gaussiano è . Questo dipende da , che è la deviazione standard.σlog2( σ2 πe---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Se normalizziamo la variabile casuale in modo che abbia varianza unitaria, la sua entropia differenziale diminuisce. Per me questo è controintuitivo perché la complessità di Kolmogorov della costante normalizzante dovrebbe …
2
Diverse definizioni AIC
Da Wikipedia esiste una definizione di Information Criterion (AIC) di Akaike come , dove è il numero di parametri e è la probabilità logaritmica del modello.AIC=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L log LkkklogLlog⁡L\log L Tuttavia, le nostre note di Econometria presso un'università molto rispettata affermano che . Qui è …
1
Differenze tra PROC Mixed e lme / lmer in R - gradi di libertà
Nota: questa domanda è una risposta, poiché la mia domanda precedente doveva essere cancellata per motivi legali. Confrontando PROC MIXED da SAS con la funzione lmedel nlmepacchetto in R, mi sono imbattuto in alcune differenze piuttosto confuse. Più specificamente, i gradi di libertà nei diversi test differiscono tra PROC MIXEDe …
12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.