Gli iperpiani classificano in modo ottimale i dati quando gli input sono condizionatamente indipendenti - Perché?

Nel documento chiamato Deep Learning e il principio del collo di bottiglia delle informazioni gli autori dichiarano nella sezione II A) quanto segue:

I singoli neuroni classificano solo input separabili linearmente, poiché possono implementare solo iperpiani nel loro spazio di input . Gli iperpiani possono classificare in modo ottimale i dati quando gli input sono indipendenti dalla condizione.$u = wh+b$

Per dimostrarlo, derivano quanto segue. Usando il teorema di Bayes, ottengono:

$p(y|x) = \frac{1}{1 + exp(-log\frac{p(x|y)}{p(x|y')} -log\frac{p(y)}{p(y')})}$ (1)

Dove è l'input, è la classe e è la classe prevista (presumo, non definita). Continuando, affermano che:$x$$y$$y'$$y'$

$\frac{p(x|y)}{p(x|y')} = \prod^N_{j=1}[\frac{p(x_j|y)}{p(x_j|y')}]^{np(x_j)}$ (2)

Dove è la dimensione di input e non sono sicuro (di nuovo, entrambi non sono definiti). Considerando un neurone sigmoidale, con la funzione di attivazione sigmoidea e preaattivazione , dopo aver inserito (2) in (1) otteniamo i valori di peso ottimali e , quando i valori di input .$N$$n$$\sigma(u) = \frac{1}{1+exp(-u)}$$u$$w_j = log\frac{p(x_j|y)}{p(x_j|y')}$$b=log\frac{p(y)}{p(y')}$$h_j=np(x_j)$

Ora passiamo alle mie domande. Capisco come l'inserimento di (2) in (1) porti al peso ottimale e ai valori di input . Ciò che non capisco, tuttavia, è il seguente:$w,b,h$

1. Come viene derivato (1) usando il teorema di Bayes?
2. Come viene derivato (2)? Che cos'è ? Qual è il significato di esso? Presumo che abbia qualcosa a che fare con l'indipendenza condizionale$n$
3. Anche se le dimensioni di x sono condizionatamente indipendenti, come si può affermare che è uguale alla sua probabilità scalata? (cioè come si può dire ?)$h_j=np(x_j)$

EDIT: la variabile è una variabile di classe binaria. Da ciò presumo che sia la "altra" classe. Ciò risolverebbe la domanda 1. Sei d'accordo?$y$$y'$

Mi dispiace per i dettagli mancanti nel nostro breve articolo, ma queste relazioni e connessioni tra il test del rapporto di verosimiglianza e i neuroni sigmoidali non sono certamente nuove, e possono essere trovate nei libri di testo (ad esempio Bishop 2006). Nel nostro documento, 'N' è la dimensione di input e 'n' è la dimensione del campione di test (che in realtà si è tradotto in input SNR presupponendo che SNR cresca come sqrt (n)). La connessione alla funzione sigmoidale avviene tramite la regola di Bayes, come posteriore della classe. Nulla nel resto del documento e nel nostro documento più recente e più importante del 2017 dipende in realtà da questo.

Naftali Tishby

Questa è una configurazione del modello in cui gli autori stanno usando una forma speciale di teorema di Bayes che si applica quando si ha una variabile binaria di interesse. Derivano prima questa forma speciale del teorema di Bayes come Equazione (1), e poi mostrano che la condizione nell'equazione (2) li conduce alla forma lineare specificata per la loro rete. È importante notare che quest'ultima equazione non deriva da condizioni precedenti --- piuttosto, è una condizione per la forma lineare che stanno usando per la loro rete.

---

Derivare la prima equazione: l' equazione (1) nel documento è solo una forma del teorema di Bayes che inquadra la probabilità condizionale di interesse in termini della funzione logistica standard (sigmoide) che opera sulle funzioni della probabilità e del precedente. Prendendo e sia i due risultati binari della variabile casuale , e applicando il teorema di Bayes, dà:$y$$y'$$Y$

$$\begin{equation} \begin{aligned} p(y|\mathbf{x}) = \frac{p(y,\mathbf{x})}{p(\mathbf{x})} &= \frac{p(\mathbf{x}|y) p(y)}{p(\mathbf{x}|y) p(y)+p(\mathbf{x}|y') p(y')} \\[6pt] &= \frac{1}{1+ p(\mathbf{x}|y') p(y')/p(\mathbf{x}|y) p(y)} \\[6pt] &= \frac{1}{1+ \exp \Big( \log \Big( \tfrac{p(\mathbf{x}|y') p(y')}{p(\mathbf{x}|y) p(y)} \Big) \Big)} \\[6pt] &= \frac{1}{1+ \exp \Big( - \log \tfrac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} - \log \tfrac{p(y)}{p(y')} \Big)} \\[6pt] &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg). \\[6pt] \end{aligned} \end{equation}$$

Utilizzo dell'equazione (2) come condizione per la forma lienar della rete: come detto sopra, questa equazione non è qualcosa che deriva da risultati precedenti. Piuttosto, è una condizione sufficiente che porta alla forma lineare che gli autori usano nel loro modello --- cioè, gli autori stanno dicendo che se questa equazione è valida, seguono alcuni risultati successivi. Consentire al vettore di input avere una lunghezza , se l'equazione (2) è valida, quindi prendere i logaritmi di entrambi i lati dà:$\mathbf{x} = (x_1,...,x_N)$$N$

$$\begin{equation} \begin{aligned} \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} &= \log \prod_{i=1}^N \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big]^{n p (x_i)} \\[6pt] &= \sum_{i=1}^N n p (x_i) \log \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big] \\[6pt] &= \sum_{i=1}^N h_i w_i. \\[6pt] \end{aligned} \end{equation}$$

In questa condizione, otteniamo quindi la forma posteriore:

$$\begin{equation} \begin{aligned} p(y|\mathbf{x}) &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg) \\[6pt] &= \text{logistic} \Bigg( \sum_{i=1}^N h_i w_i + b \Bigg), \\[6pt] \end{aligned} \end{equation}$$

che è la forma utilizzata dagli autori nella loro rete. Questo è il modulo modello postulato dagli autori nella sezione di sfondo, prima di specificare le equazioni (1) - (2). Il documento non definisce è in questa configurazione del modello, ma come sottolineato, la risposta del Prof Tishby afferma che questa è la dimensione del campione di prova. Per quanto riguarda la tua terza domanda, sembra che il requisito dell'equazione (2) significhi che i valori in non sono condizionatamente indipendenti dato .$n$$\mathbf{x}$$y$

Per 1

$P(y \mid x) = \frac{P(y, x)}{P(x)}$

$= \frac{P(y,x)}{\sum_{i}P(y_{i},x)}$

Ora che è binario, questo diventa:$y_{i}$

$= \frac{P(y,x)}{P(y,x)+P(y',x)}$

$= \frac{1}{1+\frac{P(y',x)}{P(y,x)}}$

$= \frac{1}{1+exp[-log \ \frac{P(y,x)}{P(y',x)}]}$

e da lì è solo la proprietà del logaritmo per arrivare alla forma finale (dovrebbe essere sufficientemente chiaro a questo punto, fammi sapere se no).