Domande taggate «mutual-information»

mutual information is a concept from information theory. It is a measure of joint dependence between two random variables, which is not, like the usual correlation coefficient, limited to scalar variables.

3
L'algoritmo MIC per rilevare correlazioni non lineari può essere spiegato in modo intuitivo?
Più recentemente, ho letto due articoli. Il primo riguarda la storia della correlazione e il secondo riguarda il nuovo metodo chiamato Maximal Information Coefficient (MIC). Ho bisogno del tuo aiuto per capire il metodo MIC per stimare le correlazioni non lineari tra le variabili. Inoltre, le istruzioni per l'uso in …
2
Limitare l'informazione reciproca dato limiti all'informazione reciproca puntuale
Supponiamo che io abbia due insiemi e e una distribuzione di probabilità congiunta su questi insiemi . Let e indicano le distribuzioni marginali oltre e rispettivamente.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Le informazioni reciproche tra e sono definite come: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) cioè è il valore medio dell'informazione reciproca puntuale pmi .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) …
1
Qual è l'intuizione dietro i campioni scambiabili sotto l'ipotesi nulla?
I test di permutazione (chiamati anche test di randomizzazione, test di ri-randomizzazione o test esatto) sono molto utili e sono utili quando l'assunzione della distribuzione normale richiesta da per esempio t-testnon è soddisfatta e quando la trasformazione dei valori per classifica del test non parametrici come Mann-Whitney-U-testquesto porterebbero alla perdita …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 
1
Correlazione a distanza rispetto a informazioni reciproche
Ho lavorato con le informazioni reciproche per qualche tempo. Ma ho trovato una misura molto recente nel "mondo di correlazione" che può anche essere usata per misurare l'indipendenza della distribuzione, la cosiddetta "correlazione a distanza" (anche chiamata correlazione browniana): http://en.wikipedia.org/wiki/Brownian_covariance . Ho controllato i documenti in cui è stata introdotta …
1
Utilizzo delle informazioni reciproche per stimare la correlazione tra una variabile continua e una variabile categoriale
Per quanto riguarda il titolo, l'idea è quella di utilizzare le informazioni reciproche, qui e dopo MI, per stimare la "correlazione" (definita come "quanto so di A quando conosco B") tra una variabile continua e una variabile categoriale. Ti racconterò i miei pensieri sull'argomento tra un momento, ma prima di …
2
Informazioni reciproche come probabilità
Le informazioni reciproche sull'entropia comune potrebbero essere: 0 ≤ I( X, Y)H( X, Y)≤ 10≤io(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 essere definito come: "La probabilità di trasmettere un'informazione da X a Y"? Mi dispiace di essere così ingenuo, ma non ho mai studiato la teoria dell'informazione e sto solo cercando …
1
Quali sono i vantaggi e gli svantaggi di applicare informazioni reciproche puntuali su una matrice di occorrenze di parole prima di SVD?
Un modo per generare incorporamenti di parole è il seguente ( mirror ): Ottieni un corpora, ad es. "Mi piace volare. Mi piace la PNL. Mi piace l'apprendimento profondo." Costruisci la parola matrice di occorrenza da essa: Esegui SVD su XXX e mantieni le prime kkk colonne di U. U1:|V|,1:kU1:|V|,1:kU_{1:|V|,1:k} …
1
Perché le persone usano il termine "peso delle prove" e in cosa differisce dalle "informazioni reciproche puntuali"?
Qui, "peso dell'evidenza" (WOE) è un termine comune nella letteratura scientifica e politica pubblicata, il più delle volte visto nel contesto della valutazione del rischio, definito da: w(e:h)=logp(e|h)p(e|h¯¯¯)w(e:h)=log⁡p(e|h)p(e|h¯)w(e : h) = \log\frac{p(e|h)}{p(e|\overline{h})} dove è evidenza, è ipotesi.eeehhh Ora, voglio sapere qual è la differenza principale con PMI (informazioni reciproche puntuali) …
1
Come calcolare le informazioni reciproche?
Sono un po 'confuso. Qualcuno può spiegarmi come calcolare le informazioni reciproche tra due termini basati su una matrice di documenti termici con occorrenza binaria di termini come pesi? Document1Document2Document3′Why′111′How′101′When′111′Where′100′Why′′How′′When′′Where′Document11111Document21010Document31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.