Derivazione della negentropia. Rimanere bloccati

Quindi, questa domanda è in qualche modo coinvolta, ma ho cercato scrupolosamente di renderla il più semplice possibile.

Obiettivo: per farla breve, c'è una derivazione della negentropia che non lo fa coinvolge cumulativi di ordine superiore e sto cercando di capire come è stata derivata.

Contesto: (capisco tutto questo)

Sto studiando da solo il libro "Independent Component Analysis" , trovato qui. (Questa domanda proviene dalla sezione 5.6, nel caso in cui sia disponibile il libro "Approssimazione dell'entropia per funzioni non polinomiali").

Abbiamo $x$ , che è una variabile casuale, e di cui vogliamo stimare la negentropia, da alcune osservazioni che abbiamo. Il PDF di $x$ è dato da $p_x(\zeta)$ . La negentropia è semplicemente la differenza tra l'entropia differenziale di una variabile casuale gaussiana standardizzata e l'entropia differenziale di $x$ . L'entropia differenziale qui è data da $H$ , in modo tale che:

$$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$$

e così, la negentropia è data da

$$J(x) = H(v) - H(x)$$

dove è un gaussiano rv standardizzato, con PDF dato da ϕ ( ζ $v$$\phi(\zeta)$ .

Ora, come parte di questo nuovo metodo, il mio libro ha derivato una stima del PDF di , data da:$x$

$$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$$

(Dove . A proposito, io lo sono$c_i = \mathbb{E}\{F^i(x)\}$$i$ non un potere, ma un indice invece).

Per ora, "accetto" questa nuova formula PDF e lo chiederò un altro giorno. Questo non è il mio problema principale. Quello che fa ora, però, è ricollegare questa versione del PDF di all'equazione della negentropia e finisce con:$x$

$$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$$

Ricorda, il sigma (qui e per il resto del post), gira semplicemente attorno all'indice . Ad esempio, se avessimo solo due funzioni, il segnale sarebbe in loop per i = 2 e i = 2 . Certo, dovrei parlarti di quelle funzioni che sta usando. Quindi, apparentemente, quelle funzioni F i sono definiti come in tal modo:$i$$i=2$$i=2$$F^i$

Le funzioni non sono funzioni polinomiali in questo caso. (Partiamo dal presupposto che rv x è media zero e di varianza unitaria). Ora, facciamo alcuni vincoli e diamo le proprietà di quelle funzioni:$F^i$$x$

$$F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$$

$$F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$$

I calcoli semplificare, facciamo un altro, ipotesi puramente tecnico: Le funzioni , forma un sistema ortonormale, come tale:$F^i, i = 1, ... n$

$$\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$$

e

$$\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$$

Quasi lì! OK, quindi tutto questo era lo sfondo, e ora per la domanda. Il compito è quindi semplicemente inserire questo nuovo PDF nella formula dell'entropia differenziale, $H(x)$ . Se capisco questo, capirò il resto. Ora, il libro dà la derivazione, (e sono d'accordo), ma rimango bloccato verso la fine, perché non so / vedo come si sta cancellando. Inoltre, non so come interpretare la piccola notazione dell'espansione di Taylor.

Questo è il risultato:

Utilizzando l'espansione di Taylor , perH(x)otteniamo:$(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$$H(x)$

$$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$$

e così

La domanda: (non capisco)

$$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$$

Quindi, il mio problema: ad eccezione di , non capisco come abbia ottenuto gli ultimi 4 termini nell'ultima equazione. (ovvero 0, 0 e gli ultimi 2 termini). Capisco tutto prima. Dice di aver sfruttato le relazioni di ortogonalità indicate nelle proprietà sopra, ma non vedo come. (Anche io non capisco la piccola notazione qui, nel senso di, come viene usata?)$H(v)$

GRAZIE!!!!

MODIFICARE:

Sono andato avanti e ho aggiunto le immagini del libro che sto leggendo, praticamente dice quello che ho detto sopra, ma nel caso in cui qualcuno abbia bisogno di un contesto aggiuntivo.

E qui, segnato in rosso, è la parte esatta che mi confonde. In che modo usa le proprietà di ortogonalità per ottenere l'ultima parte, in cui le cose si stanno cancellando, e le sommazioni finali che coinvolgono e la sommazione della piccola notazione?$c_i^2$

$c_i$

$$c_i=\int p_0(\xi)G^i(\xi)d\xi.$$ $\xi$$\xi'$$c_i$

>> Per ottenere i termini zero:

Richiama questo $\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$. Come suggerito da @cardinal, devi scrivere esplicitamente$\log\varphi(\xi)$, che equivale a:

$$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$$ Con questo a portata di mano, devi solo notare che: $$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$$ dove ho lasciato cadere le costanti al di fuori degli integrali.

Da qui, si noti che in (5.39) si afferma che $\int \varphi(\xi)F^i(\xi)\xi^k$ è $0$ per $k=0,1,2$. L'integrale sul primo termine a destra dell'eq.$(1)$ è di questa forma (con $k=2$) e anche l'integrale nel secondo termine (con $k=0$). Devi solo sfruttare questo fatto sulle somme e il gioco è fatto!

>> Per ottenere il $\sum c_i^2$ termini:

Si noti che l'integrale da ottenere per ottenere questi termini è:

$$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$$ Possiamo usare il teorema multinomiale per espandere la somma quadrata. Questo ci dà: $$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$$ Tuttavia, da (5.39) di nuovo, si noti che tutti i termini di questa somma che includono integrali per il modulo $$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$$ are zero for $i\neq j$ and one for $i=j$. This leave us with the result $$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$$

>> About the $o(\text{whatever})$ notation

I think this is pretty confusing from the authors, but I recall that they use it just to mean that there are terms of order $\text{whatever}$ every time they put $o(\text{whatever})$ (i.e., just like the big-O notation). However, as @Macro commented on this same answer, there is a difference between the big-O notation and the little-O one. Maybe you should check by yourself and see which one suits the problem in this Wikipedia article.

PS: This is a great book by the way. The papers of the authors on the subject are also very good and are a must read if you are trying to understand and implement ICA.