Informazioni reciproche come probabilità

Le informazioni reciproche sull'entropia comune potrebbero essere:

0 \leq \frac{io (X, Y)}{H (X, Y)} \leq 1

$0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1$

essere definito come: "La probabilità di trasmettere un'informazione da X a Y"?

Mi dispiace di essere così ingenuo, ma non ho mai studiato la teoria dell'informazione e sto solo cercando di capirne alcuni concetti.

information-theory mutual-information

— luca maggi
fonte

Benvenuto in CV, luca maggi! Che bella prima domanda!

— Alexis,

Risposte:

La misura che stai descrivendo si chiama Information Quality Ratio [IQR] (Wijaya, Sarno e Zulaika, 2017). IQR è l'informazione reciproca divisa per "incertezza totale" (entropia comune) (fonte dell'immagine: Wijaya, Sarno e Zulaika, 2017). $I(X,Y)$ $H(X,Y)$

Come descritto da Wijaya, Sarno e Zulaika (2017),

l'intervallo di IQR è . Il valore più grande (IQR = 1) può essere raggiunto se DWT è in grado di ricostruire perfettamente un segnale senza perdere informazioni. In caso contrario, il valore più basso (IQR = 0) indica che MWT non è compatibile con un segnale originale. In altre parole, un segnale ricostruito con un particolare MWT non può mantenere informazioni essenziali e totalmente diverse con le caratteristiche del segnale originale. $[0,1]$

Puoi interpretarlo come una probabilità che il segnale venga ricostruito perfettamente senza perdere informazioni . Si noti che tale interpretazione è più vicina all'interpretazione soggettivista della probabilità , quindi all'interpretazione tradizionale e frequentista.

È una probabilità per un evento binario (ricostruire informazioni vs no), dove IQR = 1 significa che crediamo che le informazioni ricostruite siano affidabili, e IQR = 0 significa che l'opposto. Condivide tutte le proprietà per le probabilità di eventi binari. Inoltre, le entropie condividono una serie di altre proprietà con probabilità (ad es. Definizione di entropie condizionali, indipendenza ecc.). Quindi sembra una probabilità e cade in questo modo.

Wijaya, DR, Sarno, R. e Zulaika, E. (2017). Information Quality Ratio come romanzo metrico per la selezione di wavelet madre. Chemiometria e sistemi di laboratorio intelligenti, 160, 59-71.

— Tim
fonte

Come viene definita la funzione IQR per

per verificare le proprietà di definizione della misura di probabilità? Stai introducendo

con

A \subset Ω

$A\subset\Omega$

I (X^{'}, Y^{'})

$I(X',Y')$

H (X^{'}, Y^{'})

$H(X',Y')$

dove

è la funzione caratteristica?

X^{'} := X I (A), Y^{'} := Y I (A)

$X':=XI(A),\, Y':=YI(A)$

I

$I$

— Hans

Bene, la mia domanda è diretta a una parte della tua risposta e non a una domanda autonoma. Stai suggerendo di aprire una nuova domanda e link e indirizzarla alla tua risposta?

— Hans

@Hans Quello che ho detto è che questa misura si adatta facilmente alla definizione, correggimi se sbaglio. Gli assiomi 1. e 2. sono ovvi. Per l'assioma 3.,

è la sovrapposizione,

è lo spazio totale, quindi la frazione può essere facilmente vista come probabilità.

I (X, Y)

$I(X, Y)$

H (X, Y)

$H(X, Y)$

— Tim

Una probabilità è definita su uno spazio campione e sul suo campo sigma

. Sono confuso su cosa siano questi per questa misura di probabilità IQR. V'è già uno spazio campione e il suo campo sigma per la misura di probabilità definita per le variabili casuali

. Lo spazio e il campo del campione della nuova misura di probabilità IQR sono uguali a quelli della vecchia misura di probabilità associata a

? In caso contrario, come vengono definiti? Oppure, stai dicendo che questi non devono essere definiti? Come lo controlli quindi contro gli assiomi?

(Ω, F)

$(\Omega, \mathscr{F})$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

— Hans

@Hans ho dichiarato esplicitamente che ciò è coerente con gli assiomi, ma è difficile dire la probabilità di cosa esattamente questo sarebbe. L'interpretazione che ho suggerito è probabilmente di ricostruire il segnale. Questa non è una distribuzione di probabilità di X o Y. Immagino che potresti approfondire l'interpretazione e la comprensione. La domanda era se questo potesse essere interpretato come probabilità e la risposta era formalmente sì.

— Tim

Ecco la definizione di uno spazio di probabilità. Usiamo le notazioni lì. IQR è una funzione di una tupla $(\Omega,\mathscr F,P,X,Y)$ (I primi tre componenti formano lo spazio di probabilità su cui sono definite le due variabili casuali). Una misura di probabilità deve essere una funzione impostata che soddisfa tutte le condizioni della definizione elencata nella risposta di Tim. Si dovrà specificare $\Theta:=(\Omega,\mathscr F,P,X,Y)$ come un sottoinsieme di un insieme $\tilde\Omega$ . Inoltre, l'insieme di $\Theta$ Deve formare un campo di sottoinsiemi di $\tilde\Omega$ e che $\text{IQR}(\Omega,\mathscr F,P,X,Y)$ deve soddisfare tutte e tre le proprietà elencate nella definizione della misura di probabilità elencata nella risposta di Tim. Fino a quando non si costruisce un tale oggetto, è sbagliato affermare che IQR è una misura di probabilità. Io per primo non vedo l'utilità di una misura di probabilità così complicata (non la funzione IQR stessa ma come una misura di probabilità). L'IQR nel documento citato nella risposta di Tim non è chiamato o usato come probabilità ma come metrica (il primo è un tipo di quest'ultimo, ma il secondo non è un tipo di primo).

$[0,1]$ $\Theta$ $\tilde\Omega:=\{a,b\}$ $\tilde{\mathscr F}:=2^{\tilde\Omega}$ $\tilde P(a):=\text{IQR}(\Theta)$ $\Theta$

— Hans
fonte

(x_{i}, y_{i})

$(x_i, y_i)$

Θ := (Ω, F, P, X, Y)

$\Theta:=(\Omega,\mathscr F,P,X,Y)$

Questo è anche il caso se alla fine usi una complessa rete neurale con la funzione di attivazione sigmoidea, puoi provare che l'output è probabilità in termini metrici-teorici? Tuttavia, spesso scegliamo di interpretare questo come probabilità.

— Tim

[0, 1]

$[0,1]$

A

$A$

P (A) := μ (f (A))

$P(A):=\mu(f(A))$

μ

$\mu$

R

$R$

f

$f$

Mi dispiace, ma non ho mai trovato interessante questo tipo di discussioni e teoria delle misure, quindi mi ritirerò dall'ulteriore discussione. Inoltre, non vedo il tuo punto qui, soprattutto perché il tuo ultimo paragrafo sembra dire esattamente la stessa cosa che stavo dicendo dall'inizio dell'accattonaggio.

— Tim