Domande taggate «entropy»

Una quantità matematica progettata per misurare la quantità di casualità di una variabile casuale.

10
Misura entropia / informazioni / schemi di una matrice binaria 2d
Voglio misurare l'entropia / la densità di informazioni / la somiglianza del modello di una matrice binaria bidimensionale. Vorrei mostrare alcune immagini per chiarimenti: Questo display dovrebbe avere un'entropia piuttosto elevata: UN) Questo dovrebbe avere entropia media: B) Queste immagini, infine, dovrebbero avere tutte un'entropia quasi zero: C) D) E) …
2
Cosa ci dice l'entropia?
Sto leggendo l' entropia e sto facendo fatica a concettualizzare cosa significhi nel caso continuo. La pagina wiki afferma quanto segue: La distribuzione di probabilità degli eventi, unita alla quantità di informazioni di ogni evento, forma una variabile casuale il cui valore atteso è la quantità media di informazioni, o …
32 entropy 
6
Perché l'entropia è massimizzata quando la distribuzione di probabilità è uniforme?
So che l'entropia è la misura della casualità di un processo / variabile e può essere definita come segue. per una variabile casuale set : - . Nel libro su Entropy and Information Theory di MacKay, fornisce questa affermazione in Ch2X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) L'entropia è …
3
Confutazione basata sull'entropia del paradosso della freccia indietro del tempo bayesiano di Shalizi?
In questo articolo , la talentuosa ricercatrice Cosma Shalizi sostiene che per accettare pienamente una visione soggettiva bayesiana, si deve anche accettare un risultato non fisico secondo cui la freccia del tempo (data dal flusso di entropia) dovrebbe effettivamente tornare indietro . Questo è principalmente un tentativo di argomentare contro …
3
Qual è la differenza Cross-entropy e KL divergence?
Sia l'entropia incrociata che la divergenza di KL sono strumenti per misurare la distanza tra due distribuzioni di probabilità. Qual è la differenza? Inoltre, la minimizzazione di KL equivale alla minimizzazione di Cross-Entropy.H(P,Q)=−∑xP(x)logQ(x)H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = -\sum_x P(x)\log Q(x) KL(P|Q)=∑xP(x)logP(x)Q(x)KL(P|Q)=∑xP(x)log⁡P(x)Q(x) KL(P | Q) = \sum_{x} P(x)\log {\frac{P(x)}{Q(x)}} Voglio conoscerli istintivamente. Grazie …
3
Interpretazione statistica della massima distribuzione di entropia
Ho usato il principio della massima entropia per giustificare l'uso di diverse distribuzioni in vari contesti; tuttavia, devo ancora essere in grado di formulare un'interpretazione statistica, al contrario di quella teorica dell'informazione, della massima entropia. In altre parole, cosa implica massimizzare l'entropia riguardo alle proprietà statistiche della distribuzione? Qualcuno ha …
4
Entropia di un'immagine
Qual è il modo più corretto informazioni / fisica-teorica per calcolare l'entropia di un'immagine? In questo momento non mi interessa l'efficienza computazionale, teoricamente la voglio il più corretta possibile. Iniziamo con un'immagine in scala di grigi. Un approccio intuitivo è considerare l'immagine come una borsa di pixel e calcolare dove …
2
Cos'è l'entropia empirica?
Nella definizione di insiemi congiuntamente tipici (in "Elements of Information Theory", cap. 7.6, p. 195), usiamo - 1nlogp ( xn)-1nlog⁡p(Xn)-\frac{1}{n} \log{p(x^n)}comeentropia empiricadi unaconseguenza con. Non ho mai trovato questa terminologia prima d'ora. Non è definito esplicitamente da nessuna parte in base all'indice del libro.p ( x n ) = ∏ …
2
Limitare l'informazione reciproca dato limiti all'informazione reciproca puntuale
Supponiamo che io abbia due insiemi e e una distribuzione di probabilità congiunta su questi insiemi . Let e indicano le distribuzioni marginali oltre e rispettivamente.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Le informazioni reciproche tra e sono definite come: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) cioè è il valore medio dell'informazione reciproca puntuale pmi .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) …
1
La foresta casuale di Breiman utilizza il guadagno di informazioni o l'indice Gini?
Vorrei sapere se la foresta casuale di Breiman (foresta casuale nel pacchetto R randomForest) utilizza come criterio di suddivisione (criterio per la selezione degli attributi) guadagno di informazioni o indice Gini? Ho provato a scoprirlo su http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm e nella documentazione per il pacchetto randomForest in R. Ma l'unica cosa che …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.