Domande taggate «kullback-leibler»

Scegliere di parametrizzare la distribuzione gamma con il pdf La divergenza di Kullback-Leibler tra e è data da [1] comeΓ(b,c)Γ(b,c)\Gamma(b,c)g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}Γ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)Γ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p) KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Immagino che Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x) …

15 kullback-leibler  gamma-distribution  exponential-family 

Sto usando KL Divergence come misura di dissomiglianza tra 2 p.m.f.p.m.f.p.m.f. PPP e QQQ . =-∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right) Se allora possiamo facilmente calcolare che P ( X i ) l n ( Q ( X i ) ) = 0 …

15 distributions  distance  kullback-leibler 

Sto confrontando due distribuzioni con la divergenza di KL che mi restituisce un numero non standardizzato che, secondo quanto ho letto su questa misura, è la quantità di informazioni necessarie per trasformare un'ipotesi nell'altra. Ho due domande: a) C'è un modo per quantificare una divergenza KL in modo che abbia …

14 distributions  kullback-leibler  information-geometry 

Userò la divergenza di KL nel mio codice Python e ho questo tutorial . In quel tutorial, implementare la divergenza di KL è abbastanza semplice. kl = (model * np.log(model/actual)).sum() A quanto ho capito, la distribuzione di probabilità di modele actualdovrebbe essere <= 1. La mia domanda è: qual è …

14 machine-learning  distance  kullback-leibler 

So che KL Divergence non è simmetrica e non può essere considerata rigorosamente come una metrica. In tal caso, perché viene utilizzato quando JS Divergence soddisfa le proprietà richieste per una metrica? Esistono scenari in cui è possibile utilizzare la divergenza KL ma non JS Divergence o viceversa?

14 probability  distributions  kullback-leibler  metric 

Se è una distribuzione di probabilità con valori diversi da zero su , per quale tipo di esiste una costante tale che per tutti ?p(x)p(x)p(x)[0,+∞)[0,+∞)[0,+\infty)p(x)p(x)p(x)c>0c>0c\gt 0∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^20<ϵ<10<ϵ<10\lt\epsilon\lt 1 La disuguaglianza sopra è in realtà una divergenza di Kullback-Leibler tra la distribuzione e una versione compressa di essa …

12 probability  stochastic-processes  kullback-leibler  probability-inequalities 

Non sono un matematico. Ho cercato su Internet KL Divergence. Quello che ho imparato è che la divergenza di KL misura le informazioni perse quando approssimiamo la distribuzione di un modello rispetto alla distribuzione di input. Ho visto questi tra due distribuzioni continue o discrete. Possiamo farlo tra continuo e …

12 distributions  mathematical-statistics  kullback-leibler 

Ho visto in alcuni punti l'uso del derivato Radon-Nikodym di una misura di probabilità rispetto a un'altra, in particolare nella divergenza di Kullback-Leibler, dove è la derivata della misura di probabilità di un modello per un parametro arbitrario rispetto al parametro reale :θ 0θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Dove si tratta di …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

Il mgcvpacchetto per Rha due funzioni per adattare le interazioni del prodotto tensore: te()e ti(). Comprendo la divisione di base del lavoro tra i due (adattamento di un'interazione non lineare rispetto alla scomposizione di questa interazione in effetti principali e un'interazione). Quello che non capisco è perché te(x1, x2)e ti(x1) …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Sto eseguendo una rapida simulazione per confrontare diversi metodi di clustering e attualmente ho un problema cercando di valutare le soluzioni del cluster. Conosco varie metriche di convalida (molte delle quali si trovano in cluster.stats () in R), ma presumo che siano meglio utilizzate se il numero stimato di cluster …

11 clustering  kullback-leibler  gaussian-mixture 

Ho cercato di implementare una stima numerica della divergenza di Kullback-Leibler per due campioni. Per eseguire il debug dell'implementazione, estrarre i campioni da due distribuzioni normali e .N(0,1)N(0,1)\mathcal N (0,1)N(1,2)N(1,2)\mathcal N (1,2) Per una semplice stima ho generato due istogrammi e ho provato ad approssimare numericamente l'integrale. Mi sono bloccato …

10 estimation  intuition  kullback-leibler  numerics 

Ho tre set di dati X, Y e Z. Ogni set di dati definisce la frequenza di un evento che si verifica. Per esempio: Set di dati X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 e così via. Set di dati Y: E1: 2, E2: …

10 kullback-leibler 

Nella mia ricerca ho riscontrato il seguente problema generale: ho due distribuzioni e sullo stesso dominio e un gran numero (ma finito) di campioni da tali distribuzioni. I campioni sono distribuiti in modo indipendente e identico da una di queste due distribuzioni (anche se le distribuzioni possono essere correlate: ad …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

Ho implementato un VAE e ho notato online due diverse implementazioni della divergenza KL gaussiana univaria semplificata. La divergenza originale come qui è Se assumiamo che il nostro precedente sia un'unità gaussiana, cioè e , questo si semplifica fino a Ed ecco dove riposa la mia confusione. Anche se ho …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Voglio stimare la divergenza di KL tra due distribuzioni continue f e g. Tuttavia, non riesco a scrivere la densità per f o g. Posso campionare sia da f che da un metodo (ad esempio, markov chain monte carlo). La divergenza KL da f a g è definita in questo …

10 kullback-leibler