Conversione (normalizzazione) di valori di probabilità molto piccoli in probabilità

Sto scrivendo un algoritmo in cui, dato un modello, calcolo le probabilità per un elenco di set di dati e quindi ho bisogno di normalizzare (con probabilità) ciascuna delle probabilità. Quindi qualcosa come [0,00043, 0,00004, 0,00321] potrebbe essere convertito in potrebbe essere come [0,2, 0,03, 0,77].

Il mio problema è che le probabilità di log, con cui sto lavorando, sono piuttosto piccole (ad esempio, nello spazio log, i valori sono come -269647.432, -231444.981 ecc.). Nel mio codice C ++, quando provo ad aggiungerne due (prendendo il loro esponente) ottengo una risposta di "Inf". Ho provato ad aggiungerli nello spazio-log (Somma / Sottrazione del log) , ma mi sono imbattuto nuovamente nello stesso problema.

Qualcuno può condividere la sua opinione di esperti su questo?

Sottrai il logaritmo massimo da tutti i registri. Butta via tutti i risultati che sono così negativi da sottovalutare l'esponenziale. (Le loro probabilità sono, a tutti gli effetti pratici, zero).

Infatti, se si desidera una precisione relativa di $\epsilon$ (come $\epsilon = 10^{-d}$ per le cifre di precisione $d$ ) e si hanno $n$ probabilità, buttare via qualsiasi risultato inferiore al logaritmo di $\epsilon/n$ . Quindi procedere come al solito per esponenziare i valori risultanti e dividere ciascuno per la somma di tutti gli esponenziali.

$\lambda_1, \lambda_2, \ldots, \lambda_n$b > $\lambda_n = \max(\lambda_i)$$b\gt 1$

Le probabilità normalizzate equivalgono a , Questo funziona perché la sostituzione di zero di tutti gli underflow con zero fa un errore totale al massimo considerando che, poiché e tutti sono non negativi, il denominatore , da cui l' errore relativo totale dovuto alla regola di sostituzione zero è strettamente inferiore a , come desiderato. i = 1 , 2 , … , n . α i ( n - 1 ) ϵ / n < ϵ α n = b λ n - λ n = b 0 = 1 α i A = ∑ j α j ≥ 1 ( ( n - $\alpha_i / \sum_{j=1}^n \alpha_j$$i = 1, 2, \ldots, n.$$\alpha_i$$(n-1)\epsilon/n\lt \epsilon$$\alpha_n=b^{\lambda_n-\lambda_n}=b^0=1$$\alpha_i$$A = \sum_j \alpha_j \ge 1$$\left((n-1)\epsilon/n \right) / A \lt \epsilon$

Per evitare troppi errori di arrotondamento, calcolare la somma iniziando con i valori più piccoli di . Questo verrà fatto automaticamente quando i vengono ordinati per la prima volta in ordine crescente. Questa è una considerazione solo per molto grandi .λ i$\alpha_i$$\lambda_i$$n$

A proposito, questa prescrizione presuppone che la base dei registri sia maggiore di . Per basi inferiori a , prima negare tutti i registri e procedere come se la base fosse uguale a .b 1 1 /$1$$b$$1$$1/b$

Esempio

Lascia che ci siano tre valori con logaritmi (log naturali, diciamo) uguali a e L'ultimo è il più grande; sottraendolo da ciascun valore si ottiene e- 231444.981 , - 231444.699. - 38202.733 , - 0.282 , $-269647.432,$ $-231444.981,$$-231444.699.$$-38202.733,$ $-0.282,$$0.$

Supponiamo che desideri una precisione comparabile ai doppi IEEE (circa 16 cifre decimali), in modo che e . (Non puoi effettivamente raggiungere questa precisione, perché è dato solo a tre cifre significative, ma va bene: stiamo solo gettando via i valori che sono garantiti per non influenzare il meglio della precisione che desideri e la precisione che in realtà have.) Calcola = = La prima delle tre differenze, è inferiore a questa, quindi via, lasciando solo e dà n = 3 - 0.282 log ( ϵ / n ) log ( 10 - 16 ) - log ( 3 ) - 37.93997. - 38202.733 , - 0.282 0. exp ( - 0.282 ) = 0.754 exp ( 0 ) = 1 0 0.754 / ( 1 + 0.754 ) $\epsilon=10^{-16}$$n=3$$-0.282$$\log(\epsilon/n)$$\log(10^{-16}) - \log(3)$$-37.93997.$$-38202.733,$$-0.282$$0.$$\exp(-0.282) = 0.754$ e (ovviamente). I valori normalizzati sono - in ordine - per quello che hai gettato via, e .$\exp(0)=1$$0$$0.754 / (1 + 0.754) = 0.430$$1/(1+0.754)=0.570$