Rapporto tra entropia e SNR

In generale, qualsiasi forma di enropia è definita come incertezza o casualità. In un ambiente rumoroso, con un aumento del rumore, credo che l'entropia aumenti poiché siamo più incerti sul contenuto delle informazioni del segnale desiderato. Qual è la relazione tra entropia e SNR? Con l'aumento del rapporto segnale-rumore, la potenza del rumore diminuisce ma ciò non implica che il contenuto informativo del segnale aumenti !! Il contenuto delle informazioni può rimanere lo stesso, quindi significa che l'entropia non è influenzata?

— Ria George
fonte

Quando dici che il "contenuto delle informazioni può rimanere lo stesso", intendi le informazioni nel segnale totale o le informazioni del segnale desiderato? Spero che questo risponda ad entrambi i casi. Conosco l'entropia di Shannon molto meglio di Kolmogorov, quindi la userò, ma spero che la logica si traduca.

Diciamo che è il segnale totale ( ), che comprende la somma del segnale desiderato e il vostro rumore componente . Chiamata entropia Let . Come hai detto, il rumore aggiunge entropia a un sistema aumentandone la complessità. Tuttavia, non è necessariamente solo perché siamo più incerti sul contenuto delle informazioni del segnale, ma perché c'è più incertezza nel segnale complessivo. Se il tipo di SNR misura quanto siamo certi di ciò che è , allora il tipo misura quanto possiamo prevedere gli stati futuri di base allo stato attuale di $X = S + N$ $X$ $S$ $N$ $H$ $S$ $H(X)$ $X$ $X$ . L'entropia si preoccupa di quanto sia complesso l'intero segnale, indipendentemente dalla composizione del rumore rispetto al non-rumore.

Se si aumenta SNR rimuovendo il rumore (attenuando ), si riduce la complessità del segnale totale e quindi la sua entropia. Non hai perso alcuna informazione portata da , solo (presumibilmente privo di significato) informazioni portato da . Se è rumore casuale, ovviamente non contiene informazioni significative, ma ci vuole una certa quantità di informazioni per descrivere lo stato di , determinato dal numero di stati in cui N può trovarsi e dalla probabilità che si trovi ciascuno di quegli stati. Questa è l'entropia. $N$ $X$ $S$ $N$ $N$ $N$

Possiamo guardare due distribuzioni gaussiane con varianze diverse, diciamo che una ha una varianza di e l'altra ha una varianza di . Solo osservando l'equazione per una distribuzione gaussiana, vediamo che la distribuzione ha una probabilità massima che è solo th il valore della probabilità distr. Al contrario, ciò significa che esiste una maggiore probabilità che distr prenderà valori diversi dalla media o che vi sia più certezza che la distribuzione prenderà valori vicini alla media. Pertanto, la distribuzione ha un'entropia inferiore rispetto a $1$ $100$ $Var=100$ $\frac {1} {10}$ $var=1$ $Var=100$ $Var=1$ $Var=1$ $Var=100$ distribuzione.

Abbiamo stabilito che una maggiore varianza implica una maggiore entropia. Osservando la propagazione dell'errore, è anche vero che (uguale per , indipendente ). Se , quindi per entropia , . Poiché è (indirettamente) una funzione della varianza, possiamo confondere un po 'le cose per dire . Per semplificare, diciamo che e sono indipendenti, quindi . Il SNR migliorato spesso significa attenuare la potenza del rumore. Questo nuovo segnale con SNR più alto sarà quindi , per $Var(X+Y) >= Var(X) + Var(Y)$ $X$ $Y$ $X = S + N$ $H$ $H(X) = H(S+N)$ $H$ $H(Var[X]) = H(Var[S+N])$ $S$ $N$ $H(Var[X]) = H(Var[S] + Var[N])$ $X = S + (\frac {1} {k})N$ $k>1$ . L'entropia diventa quindi . è maggiore di , quindi diminuirà quando N viene attenuato. Se diminuisce, anche , e quindi , si traduce in una diminuzione di . $H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$ $k$ $1$ $Var[N]$ $Var[N]$ $Var[S+N]$ $Var[X]$ $H(X)$

Non molto conciso, scusa. In breve, 's entropia diminuisce se si aumenta SNR, ma non hai nulla fatto per ' informazioni s. Non riesco a trovare le fonti in questo momento, ma esiste un metodo per calcolare SNR e informazioni reciproche (una misura bivariata simile all'entropia) l'una dall'altra. Forse il principale asporto è che SNR ed entropia non misurano la stessa cosa. $X$ $S$

— dpbont
fonte

Grazie per i dettagli, sarebbe stato davvero fantastico se ci fosse un riferimento per la piccola analisi di bitof che hai fatto da quando ho bisogno di fornire questa relazione tra entropia e SNR in un documento e quindi la citazione.

— Ria George,

La mia analisi è piuttosto informale; fa troppo affidamento sull'intuizione / logica per rivendicare qualsiasi tipo di rigore. Il punto debole che vedo immediatamente è l'affermazione secondo cui l'aumento del SNR equivale alla riduzione della varianza complessiva. Questa affermazione vale se si aumenta SNR attenuando il rumore, ma non necessariamente se si aumenta la potenza del segnale (perché ciò potrebbe aumentare la varianza del segnale ==> varianza complessiva ==> entropia). C'è probabilmente un altro modo per arrivare a questa conclusione, però. Penso che il rapporto tra MI e SNR sia venuto da Schloegl 2010 "Metodi adattivi nella ricerca BCI - Un tutorial introduttivo"

— dpbont,

: Mi spiace ricominciare questa discussione in continuazione. Mi sono imbattuto in un problema quando stavo trovando l'errore dell'entropia di un modello in cui errore = desiderato_segnale - stimato_segnale. Aumentando SNR, ho scoperto che l'entropia dell'errore sta aumentando. Ma, quando calcolo l'entropia del segnale desiderato con l'aumento del SNR, l'entropia di X diminuisce. Puoi per favore dare qualche spunto sul primo caso in cui l'entropia dell'errore aumenta all'aumentare del SNR?

X

$X$

— Ria George,

Due domande. 1) Quando dici che aumenta SNR, intendi SNR del segnale stimato? (Suppongo di si.) 2) Cosa succede al tuo errore quando l'entropia dell'errore aumenta? In generale, l'aumento dell'entropia significa sia aumento della varianza / diminuzione della prevedibilità. Potrei forse immaginare una situazione in cui la tua varianza di errore aumenta ma rimuovi un errore di errore (che potrebbe aumentare l'entropia dell'errore ma diminuire l'errore).

— dpbont,

X = S + N

$X=S+N$

N

$N$

z (t) = X (t) - (a 1 X (t - 1) + b 1 X (t - 2))

$z(t) = X(t) - (a1X(t-1) + b1X(t-2))$

X (t)

$X(t)$

N

$N$

Ecco una citazione da [1, p. 186]per iniziare tu, OP o Googler:

$\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

$\mathcal{H}$

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006

— Marnix
fonte