Registra la probabilità rispetto al prodotto delle probabilità

Secondo questo articolo di Wikipedia , si può rappresentare il prodotto delle probabilità x⋅ycome -log(x) - log(y)rendere il calcolo più computazionalmente ottimale. Ma se provo un esempio dì:

p1 = 0.5
p2 = 0.5
p1 * p2 = 0.25
-log(p1) - log(p2) = 2

p3 = 0.1
p4 = 0.1
p3 * p4 = 0.01
-log(p3) - log(p4) = 6.64

Il prodotto delle probabilità p1ed p2è maggiore di quello di p3e p4, ma la probabilità del registro è inferiore.

Come mai?

probability logarithm arithmetic

— Spacemonkey
fonte

Cosa c'è che non va? Le probabilità più piccole potranno fornire valori più grande perché

aumenta da

quando

verso

come

- \log p

$-\log p$

0

$0$

p = 1

$p=1$

\infty

$\infty$

p \to 0

$p \to 0$

— Dilip Sarwate,

(+1) Perché downvote? Penso che questa sia una domanda ben scritta sull'argomento, sebbene molto elementare.

— Juho Kokkala,

@DilipSarwate il mio problema non è con la parte matematica, ma con questo particolare modo di rappresentare le probabilità. Forse è solo una questione di mettersi a proprio agio con esso.

— spacemonkey,

Temo che tu abbia frainteso ciò che l'articolo intende. Questa non è una grande sorpresa, dal momento che è scritta in modo poco chiaro. Ci sono due cose diverse in corso.

Il primo è semplicemente lavorare sulla scala del registro.

Cioè, invece di " " (quando hai indipendenza), si può invece scrivere " ". Se hai bisogno della probabilità effettiva, puoi esponenziare alla fine per tornare indietro : $p_{AB} = p_A\cdot p_B$ $\log(p_{AB}) = \log(p_A)+ \log(p_B)$ $p_{AB}$ $\qquad p_{AB}=e^{\log(p_A)+ \log(p_B)}\,,$ ma se necessario, l'espiazione sarebbe normalmente lasciata all'ultimo gradino possibile. Fin qui tutto bene.

La seconda parte sta sostituendo il con . Questo è così che lavoriamo con valori positivi. $\log p$ $-\log p$

Personalmente, non vedo molto valore in questo, specialmente perché inverte la direzione di qualsiasi ordinamento (il è in aumento monotonico, quindi se , quindi ; questo l'ordine è invertito con $\log$ $p_1<p_2$ $\log(p_A)< \log(p_2)$ $-\log p$ ).

Questa inversione sembra interessarti, ma è una conseguenza diretta della negazione: dovrebbe accadere con probabilità di log negative. Pensa alla probabilità di log negativa come a una scala di "rarità": maggiore è il numero, più raro è l'evento (l'articolo si riferisce ad esso come "valore a sorpresa", o Survisal , che è un altro modo di pensarci). Se non ti piace l'inversione, utilizza invece . $\log p$

$s_i = -\log(p_i)$ $s$ $p_{AB}=e^{-[s_A+ s_B]}\,.$

— Glen_b - Ripristina Monica
fonte

+1 "Pensa alla probabilità di log negativa come a una scala di" rarità "- maggiore è il numero, più raro è l'evento"

— Zhubarb