Valore atteso di una variabile casuale gaussiana trasformata con una funzione logistica

Sia la funzione logistica che la deviazione standard sono generalmente indicate con . Userò e per la deviazione standard.$\sigma$$\sigma(x) = 1/(1+\exp(-x))$$s$

Ho un neurone logistica con un ingresso casuale la cui media e deviazione standard lo so. Spero che la differenza dalla media possa essere approssimata bene da un certo rumore gaussiano. Quindi, con un leggero abuso della notazione, supponiamo che produca . Qual è il valore atteso di ? La deviazione standard potrebbe essere grande o piccola rispetto a o . Una buona approssimazione in forma chiusa per il valore atteso sarebbe quasi buona come una soluzione in forma chiusa.$\mu$$s$$\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$$\sigma(N(\mu,s^2))$$s$$\mu$$1$

Non credo che esista una soluzione in forma chiusa. Questo può essere visto come una convoluzione e la funzione caratteristica per la densità logistica è nota ( ), ma non sono sicuro di quanto possa essere d'aiuto. Il calcolatore simbolico inverso non è stato in grado di riconoscere la densità a della convoluzione della densità della distribuzione logistica e una distribuzione normale standard, il che suggerisce ma non dimostra che non esiste un semplice integrale elementare. Prove più circostanziali: in alcuni articoli sull'aggiunta del rumore di input gaussiano alle reti neurali con neuroni logistici, i documenti non davano nemmeno espressioni in forma chiusa.$\pi t ~\text{csch} ~\pi t$$0$

Questa domanda è nata nel tentativo di capire l'errore nell'approssimazione del campo medio nelle macchine Boltzman.

Quello che ho usato è il seguente:

Scrivi dove . Possiamo usare un'espansione della serie Taylor.$\sigma(N(\mu,s^2)) = \sigma(\mu + X)$$X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

Ci sono problemi di convergenza. La funzione logistica ha un polo in cui , quindi in , dispari. La divergenza non è la stessa cosa che il prefisso è inutile, ma l'approssimazione di questa serie può essere inaffidabile quando è significativo.$\exp(-x) = -1$$x = k \pi i$$k$$P(|X| \gt \sqrt{\mu^2 + \pi^2})$

Dato che , possiamo scrivere derivati ​​di come polinomi in . Ad esempio, e . I coefficienti sono correlati a OEIS A028246 .$\sigma'(x) = \sigma(x) (1-\sigma(x))$$\sigma(x)$$\sigma(x)$$\sigma'' = \sigma-3\sigma^2+2\sigma^3$$\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

Quello che hai qui è una variabile casuale che segue una distribuzione logit-normale (o logistico-normale) (vedi wikipedia ), cioè . I momenti della distribuzione logit-normale non hanno soluzioni analitiche.$\mbox{logit}[x] \sim N(\mu, s^2)$

Ma ovviamente è possibile ottenerli tramite l'integrazione numerica. Se usi R, c'è il pacchetto logitnorm che ha tutto ciò di cui hai bisogno. Un esempio:

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

Questo produce:

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

Quindi, c'è anche una funzione di convenienza che ti darà direttamente la media e la varianza.