Statistiche e Big Data maximum-entropy

6

Perché l'entropia è massimizzata quando la distribuzione di probabilità è uniforme?

So che l'entropia è la misura della casualità di un processo / variabile e può essere definita come segue. per una variabile casuale set : - . Nel libro su Entropy and Information Theory di MacKay, fornisce questa affermazione in Ch2X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) L'entropia è …

32 uniform entropy maximum-entropy

3

Confutazione basata sull'entropia del paradosso della freccia indietro del tempo bayesiano di Shalizi?

In questo articolo , la talentuosa ricercatrice Cosma Shalizi sostiene che per accettare pienamente una visione soggettiva bayesiana, si deve anche accettare un risultato non fisico secondo cui la freccia del tempo (data dal flusso di entropia) dovrebbe effettivamente tornare indietro . Questo è principalmente un tentativo di argomentare contro …

31 bayesian entropy maximum-entropy philosophical

3

Interpretazione statistica della massima distribuzione di entropia

Ho usato il principio della massima entropia per giustificare l'uso di diverse distribuzioni in vari contesti; tuttavia, devo ancora essere in grado di formulare un'interpretazione statistica, al contrario di quella teorica dell'informazione, della massima entropia. In altre parole, cosa implica massimizzare l'entropia riguardo alle proprietà statistiche della distribuzione? Qualcuno ha …

23 distributions entropy intuition information-theory maximum-entropy

4

Distribuzioni precedenti debolmente informative per i parametri di scala

Ho usato le distribuzioni log normali come distribuzioni precedenti per i parametri di scala (per distribuzioni normali, t distribuzioni ecc.) Quando ho un'idea approssimativa di come dovrebbe essere la bilancia, ma voglio sbagliare sul lato del dire che non lo so molto al riguardo. Lo uso perché quell'uso ha un …

21 distributions bayesian modeling prior maximum-entropy

1

L'entropia differenziale è sempre inferiore all'infinito?

Per una variabile casuale continua arbitraria, diciamo , la sua entropia differenziale è sempre inferiore a ∞ ? (Va bene se è - ∞ .) In caso contrario, qual è la condizione necessaria e sufficiente per essere inferiore a ∞ ?XXX∞∞\infty−∞−∞-\infty∞∞\infty

14 entropy information-theory maximum-entropy

2

Dimostra che la massima distribuzione di entropia con una matrice di covarianza fissa è un gaussiano

Sto provando a provare la seguente prova che il gaussiano ha la massima entropia. Che senso ha il passo stellato? Una covarianza specifica risolve solo il secondo momento. Cosa succede al terzo, quarto, quinto momento ecc.?

13 entropy information-theory maximum-entropy

2

Qual è la funzione di densità di probabilità entropia massima per una variabile positiva positiva di media data e deviazione standard?

Qual è la massima distribuzione di entropia per una variabile continua positiva, visti i suoi primi e secondi momenti? Ad esempio, una distribuzione gaussiana è la massima distribuzione di entropia per una variabile illimitata, data la sua media e deviazione standard, e una distribuzione gamma è la massima distribuzione di …

13 distributions standard-deviation mean maximum-entropy

1

Ci sono usi contemporanei di jackknifing?

La domanda: il bootstrap è superiore al jackknifing; tuttavia, mi chiedo se ci sono casi in cui jackknifing è l'unica o almeno un'opzione praticabile per caratterizzare l'incertezza dalle stime dei parametri. Inoltre, in situazioni pratiche quanto è distorto / impreciso il jackknifing rispetto al bootstrap e i risultati del jackknife …

12 machine-learning cross-validation bootstrap maximum-entropy jackknife

3

Stima della massima verosimiglianza della distribuzione congiunta dati solo conteggi marginali

Sia una distribuzione congiunta di due variabili categoriali , con . Supponiamo che da questa distribuzione siano stati estratti campioni, ma ci vengono dati solo i conteggi marginali, vale a dire per : X , Y x , y ∈ { 1 , … , K } n j = …

12 categorical-data maximum-likelihood joint-distribution marginal maximum-entropy

2

Come determinare la previsibilità delle serie storiche?

Una delle questioni importanti che devono affrontare i meteorologi è se la serie data può essere prevista o no? Mi sono imbattuto in un articolo intitolato " Entropia come indicatore a priori della prevedibilità " di Peter Catt che utilizza l' entropia approssimata (ApEn) come misura relativa per determinare una …

10 time-series forecasting entropy maximum-entropy forecastability

1

Quale distribuzione ha l'entropia massima per una deviazione assoluta media nota?

Stavo leggendo la discussione su Hacker News sull'uso della deviazione standard rispetto ad altre metriche come la deviazione assoluta media. Quindi, se dovessimo seguire il principio della massima entropia, con quale tipo di distribuzione utilizzeremmo se conoscessimo solo la media della distribuzione e la deviazione assoluta media? Oppure ha più …

10 distributions maximum-entropy mad

1

"Poiché

Breve domanda: perché è vero ?? Domanda lunga: Molto semplicemente, sto cercando di capire cosa giustifica questa prima equazione. L'autore del libro che sto leggendo (contesto qui se lo si desidera, ma non necessario), afferma quanto segue: A causa dell'assunto di quasi gaussianità, possiamo scrivere: p0( ξ) = Aϕ ( …

9 probability normal-distribution entropy maximum-entropy

1

Creazione di un modello Markov di massima entropia da un classificatore di entropia massima multi-input esistente

Sono incuriosito dal concetto di un modello di entropia di Markov (MEMM) e sto pensando di usarlo per un tagger di Part of Speech (POS). Al momento, sto usando un classificatore convenzionale di massima entropia (ME) per taggare ogni singola parola. Questo utilizza una serie di funzionalità, inclusi i due …

9 machine-learning mcmc maximum-entropy memm

Domande taggate «maximum-entropy»