Anche se sembrano simili, sono cose abbastanza diverse. Cominciamo con le principali differenze.
h è qualcosa di diverso in PMI e in WOE
Notare il termine in PMI. Ciò implica che è una variabile casuale di cui è possibile calcolare la probabilità. Per un bayesiano, questo non è un problema, ma se non credi che le ipotesi possano avere una probabilità a priori non puoi nemmeno scrivere PMI per ipotesi e prove. In WOE, è un parametro della distribuzione e le espressioni sono sempre definite.p(h)hh
PMI è simmetrico, WOE non è
Trivially, . Tuttavia, non è necessario definire a causa del termine . Anche quando lo è, in generale non è uguale a .pmi(e,h)=pmi(h,e)w(h:e)=logp(h|e)/p(h|e¯)e¯w(e:h)
Oltre a ciò, WOE e PMI hanno somiglianze.
Il peso delle prove dice quanto le prove parlano a favore di un'ipotesi. Se è 0, significa che non parla né a favore né contro. Più è alto, più convalida l'ipotesi , e più è basso, più convalida .hh¯
Le informazioni reciproche quantificano il modo in cui il verificarsi di un evento ( o ) dice qualcosa sul verificarsi dell'altro evento. Se è 0, gli eventi sono indipendenti e il verificarsi di uno non dice nulla sull'altro. Più è alto, più spesso si verificano, e più è basso e più si escludono a vicenda.eh
Che dire dei casi in cui l'ipotesi è anche una variabile casuale ed entrambe le opzioni sono valide? Ad esempio in communiction attraverso un canale rumoroso binario, l'ipotesi è il segnale emesso per decodificare e la prova è il segnale ricevuto. Supponi che la probabilità di lanciare sia , quindi se ricevi , WOE per è . Il PMI, d'altra parte, dipende dalla possibilità di emettere un . Puoi verificare che quando la probabilità di emettere un tende a 0, il PMI tende a , mentre tende a quando la probabilità di emettere unhh1/100011log0.999/0.001=6.90116.9001 tende a .1
Questo comportamento paradossale illustra due cose:
Nessuno di questi è adatto a fare un'ipotesi sull'emissione. Se la probabilità di emettere un scende al di sotto di , l'emissione più probabile è anche quando si riceve un . Tuttavia, per le piccole probabilità di emettere un sia WOE che PMI sono vicine a .11/10000116.90
PMI è un guadagno di informazioni (di Shannon) sulla realizzazione dell'ipotesi, se l'ipotesi è quasi certa, allora non si ottengono informazioni. WOE è un aggiornamento delle nostre quote precedenti , che non dipende dal valore di tali quote.