Varianza di una funzione di una variabile casuale

Diciamo che abbiamo una variabile casuale $X$ con varianza e media note. La domanda è: qual è la varianza di $f(X)$ per una determinata funzione f. L'unico metodo generale di cui sono a conoscenza è il metodo delta, ma fornisce solo approssimazione. Ora sono interessato a $f(x)=\sqrt{x}$ , ma sarebbe anche bello conoscere alcuni metodi generali.

Modifica 29.12.2010
Ho fatto alcuni calcoli usando le serie di Taylor, ma non sono sicuro che siano corretti, quindi sarei felice se qualcuno potesse confermarli .

$E[f(X)]$
$E[f(X)] \approx E[f(\mu)+f'(\mu)(X-\mu)+\frac{1}{2}\cdot f''(\mu)(X-\mu)^2]=f(\mu)+\frac{1}{2}\cdot f''(\mu)\cdot Var[X]$

Ora possiamo approssimare $D^2 [f(X)]$
$E[(f(X)-E[f(X)])^2] \approx E[(f(\mu)+f'(\mu)(X-\mu)+\frac{1}{2}\cdot f''(\mu)(X-\mu)^2 -E[f(X)])^2]$

Usando l'approssimazione di sappiamo che $E[f(X)]$ $f(\mu)-Ef(x) \approx -\frac{1}{2}\cdot f''(\mu)\cdot Var[X]$

Usando questo otteniamo:
$D^2[f(X)] \approx \frac{1}{4}\cdot f''(\mu)^2\cdot Var[X]^2-\frac{1}{2}\cdot f''(\mu)^2\cdot Var[X]^2 + f'(\mu)^2\cdot Var[X]+\frac{1}{4}f''(\mu)^2\cdot E[(X-\mu)^4] +\frac{1}{2}f'(\mu)f''(\mu)E[(X-\mu)^3]$
$D^2 [f(X)] \approx \frac{1}{4}\cdot f''(\mu)^2 \cdot [D^4 X-(D^2 X)^2]+f'(\mu)\cdot D^2 X +\frac{1}{2}f'(\mu)f''(\mu)D^3 X$

variance random-variable delta-method

— Tomek Tarczynski
fonte

Il metodo Delta viene utilizzato per le distribuzioni asintotiche. Non puoi usare quando hai solo una variabile casuale.

— mpiktas,

@mpiktas: In realtà non so molto sul metodo Delta, ho appena letto qualcosa su Wikipedia. Questa è una citazione dal wiki: "Il metodo delta usa espansioni di Taylor del secondo ordine per approssimare la varianza di una funzione di una o più variabili casuali".

— Tomek Tarczynski,

sembra che Wikipedia abbia esattamente quello che vuoi: en.wikipedia.org/wiki/… . Reiterò la mia risposta, sembra che abbia sottovalutato l'espansione di Taylor.

— mpiktas,

Tomek, se non sei d'accordo con le modifiche che sono state apportate (non da me), puoi sempre cambiarle di nuovo o ripristinarle o semplicemente sottolineare le differenze e chiedere chiarimenti.

— Glen_b -Restate Monica

@Glen_b: sono d'accordo con loro E (X-mu) = 0 non implica che E [(X-mu) ^ 3] = 0.

— Tomek Tarczynski

Aggiornare

Ho sottovalutato le espansioni di Taylor. Funzionano davvero. Ho ipotizzato che l'integrale del termine rimanente possa essere illimitato, ma con un po 'di lavoro si può dimostrare che non è così.

L'espansione di Taylor funziona per funzioni a intervallo chiuso limitato. Per le variabili casuali con varianza finita dà la disuguaglianza di Chebyshev

P (| X - E X | > c) \leq \frac{V a r (X)}{c}

$P(|X-EX|>c)\le \frac{Var(X)}{c}$

Quindi per qualsiasi $\varepsilon>0$ possiamo trovare abbastanza grande $c$ modo che

P (X \in [E X - c, E X + c]) = P (| X - E X | \leq c) < 1 - ε

$P(X\in [EX-c,EX+c])=P(|X-EX|\le c)<1-\varepsilon$

Prima di tutto stimiamo . Abbiamo dove è la funzione di distribuzione per $Ef(X)$

\begin{aligned} E f (X) = \int_{| x - E X | \leq c} f (x) d F (x) + \int_{| x - E X | > c} f (x) d F (x) \end{aligned}

$\begin{align} Ef(X)=\int_{|x-EX|\le c}f(x)dF(x)+\int_{|x-EX|>c}f(x)dF(x) \end{align}$

F (x)

$F(x)$

X

$X$

Poiché il dominio del primo integrale è intervallo che è intervallo chiuso limitato possiamo applicare l'espansione di Taylor: $[EX-c,EX+c]$ dove, e l'uguaglianza vale per tutti. Ho preso solo 4 termini nell'espansione di Taylor, ma in generale possiamo prenderne quanti ne vogliamo, purché la funzionesia abbastanza regolare.

\begin{aligned} f (x) = f (E X) + f^{'} (E X) (x - E X) + \frac{f^{″} (E X)}{2} (x - E X)^{2} + \frac{f^{‴} (α)}{3} (x - E X)^{3} \end{aligned}

$\begin{align} f(x)=f(EX)+f'(EX)(x-EX)+\frac{f''(EX)}{2}(x-EX)^2+\frac{f'''(\alpha)}{3}(x-EX)^3 \end{align}$

α \in [E X - c, E X + c]

$\alpha\in [EX-c,EX+c]$

x \in [E X - c, E X + c]

$x\in[EX-c,EX+c]$

f

$f$

Sostituendo questa formula alla precedente che otteniamo

\begin{aligned} E f (X) & = \int_{| x - E X | \leq c} f (E X) + f^{'} (E X) (x - E X) + \frac{f^{″} (E X)}{2} (x - E X)^{2} d F (x) \\ + \int_{| x - E X | \leq c} \frac{f^{‴} (α)}{3} (x - E X)^{3} d F (x) + \int_{| x - E X | > c} f (x) d F (x) \end{aligned}

$\begin{align} Ef(X)&=\int_{|x-EX|\le c}f(EX)+f'(EX)(x-EX)+\frac{f''(EX)}{2}(x-EX)^2dF(x)\\\\ &+\int_{|x-EX|\le c}\frac{f'''(\alpha)}{3}(x-EX)^3dF(x) +\int_{|x-EX|>c}f(x)dF(x) \end{align}$

\begin{aligned} E f (X) & = f (E X) + \frac{f^{″} (E X)}{2} E (X - E X)^{2} + R_{3} \end{aligned}

$\begin{align} Ef(X)&=f(EX)+\frac{f''(EX)}{2}E(X-EX)^2+R_3\\\\ \end{align}$

\begin{aligned} R_{3} & = \frac{f^{‴} (α)}{3} E (X - E X)^{3} + \\ + \int_{| x - E X | > c} (f (E X) + f^{'} (E X) (x - E X) + \frac{f^{″} (E X)}{2} (x - E X)^{2} + f (X)) d F (x) \end{aligned}

$\begin{align} R_3&=\frac{f'''(\alpha)}{3}E(X-EX)^3+\\\\ &+\int_{|x-EX|>c}\left(f(EX)+f'(EX)(x-EX)+\frac{f''(EX)}{2}(x-EX)^2+f(X)\right)dF(x) \end{align}$

P (| X - E X | > c)

$P(|X-EX|>c)$

E (X - E X)^{3}

$E(X-EX)^3$

f

$f$

E (X - E X)^{3} = 0

$E(X-EX)^3=0$

$f(x)$ $Ef(x)$

$E(f(x)-Ef(x))^2=(f'(EX))^2Var(X)+T_3$

$T_3$ $E(X-EX)^k$ $k=4,5,6$ . Possiamo arrivare a questa formula anche usando solo l'espansione di Taylor del primo ordine, cioè usando solo il primo e il secondo derivato. Il termine di errore sarebbe simile.

Other way is to expand $f^2(x)$ :

\begin{aligned} f^{2} (x) & = f^{2} (E X) + 2 f (E X) f^{'} (E X) (x - E X) \\ + [(f^{'} (E X))^{2} + f (E X) f^{″} (E X)] (X - E X)^{2} + \frac{(f^{2} (β))^{‴}}{3} (X - E X)^{3} \end{aligned}

$\begin{align} f^2(x)&=f^2(EX)+2f(EX)f'(EX)(x-EX)\\\\ &+[(f'(EX))^2+f(EX)f''(EX)](X-EX)^2+\frac{(f^2(\beta))'''}{3}(X-EX)^3 \end{align}$

Similarly we get then

\begin{aligned} E f^{2} (x) = f^{2} (E X) + [(f^{'} (E X))^{2} + f (E X) f^{″} (E X)] V a r (X) + {\tilde{R}}_{3} \end{aligned}

$\begin{align*} Ef^2(x)=f^2(EX)+[(f'(EX))^2+f(EX)f''(EX)]Var(X)+\tilde{R}_3 \end{align*}$ where

{\tilde{R}}_{3}

$\tilde{R}_3$ is similar to

R_{3}

$R_3$ .

The formula for variance then becomes

\begin{aligned} V a r (f (X)) = [f^{'} (E X)]^{2} V a r (X) - \frac{[f^{″} (E X)]^{2}}{4} V a r^{2} (X) + {\tilde{T}}_{3} \end{aligned}

$\begin{align} Var(f(X))=[f'(EX)]^2Var(X)-\frac{[f''(EX)]^2}{4}Var^2(X)+\tilde{T}_3 \end{align}$ where

{\tilde{T}}_{3}

$\tilde{T}_3$ have only third moments and above.

— mpiktas
fonte

I dont need to know the exact value of the variance, approximation should works for me.

— Tomek Tarczynski

Indeed, the approximate formula for

E [f (X)]

$\mathbb{E}[f(X)]$ in the OP is often used in risk analysis in economics, finance and insurance.

— Raskolnikov

@Raskolnikov, yes but it contradicts my admitedly stale knowledge of Taylor expansion. Clearly the remainder term must be taken into account. If the random variable is bounded, then no problem, since polynomials approximate continuous functions on bounded interval uniformly. But we deal with unbounded random variables. Of course for random normal we can say that it is effectively bounded, but still in general case, some nasty surprises can arise, or not. I will fix my answer when I'll have the clear answer.

— mpiktas

@Tomek Tarczynski, the third derivative of

\sqrt{x}

$\sqrt{x}$ goes to zero quite quickly for large

x

$x$ , but is unbounded near zero. So if you picked uniform distribution with support close to zero, the remainder term can get large.

— mpiktas

Note that in your link the the equality is approximate. In this answer all the equations are exact. Furthermore for the variance note that the first derivative is estimated at the

E X

$EX$ , not

x

$x$ . Also I never stated that this will not work for

\sqrt{x}

$\sqrt{x}$ , only that for

\sqrt{x}

$\sqrt{x}$ the approximate formula might have huge error if

X

$X$ domain is close to zero.

— mpiktas

To know the first two moments of X (mean and variance) is not enough, if the function f(x) is arbitrary (non linear). Not only for computing the variance of the transformed variable Y, but also for its mean. To see this -and perhaps to attack your problem- you can assume that your transformation function has a Taylor expansion around the mean of X and work from there.

— leonbloy
fonte