Problema con la prova dell'aspettativa condizionale come miglior predittore

19

Ho un problema con la prova di

$E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

che molto probabilmente rivelano un più profondo fraintendimento di aspettative e aspettative condizionate.

La prova che conosco è la seguente (un'altra versione di questa prova può essere trovata qui )

\begin{aligned} \arg min_{g (X)} E [(Y - g (x))^{2}] \\ = & \arg min_{g (X)} E [(Y - E (Y | X) + E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [(Y - E (Y | X))^{2} + 2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} &\arg \min_{g(X)} E\Big[\big(Y - g(x)\big)^2\Big]\\ = &\arg \min_{g(X)} E \Big[ \big(Y - E(Y|X) + E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ \big(Y - E(Y|X)\big)^2 + 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ \end{align*}$

La dimostrazione quindi continua in genere con un argomento che mostra che $2 E\Big[ \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big)\Big] = 0$ e quindi

\begin{aligned} \arg min_{g (x)} E [(Y - g (x))^{2}] = \arg min_{g (x)} E [(E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} \arg \min_{g(x)} E\Big[\big(Y - g(x)\big)^2\Big] = \arg \min_{g(x)} E \Big[\big(E(Y|X) - g(X)\big)^2\Big] \end{align*}$

che può essere visto come minimizzato quando $g(X) = E(Y|X)$ .

I miei enigmi sulla dimostrazione sono i seguenti:

Ritenere

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]$ .

Mi sembra che, indipendentemente da qualsiasi argomento che dimostri che il primo termine sia sempre uguale a zero, si può vedere che l'impostazione $g(X) = E(Y|X)$ minimizza l'espressione in quanto implica $\big(E(Y|X) - g(X)\big) =0$ e quindi

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big] = E( 0 + 0)$ = 0.

Ma se questo è vero, allora si potrebbe ripetere la dimostrazione sostituendo con qualsiasi altra funzione di , dire , e arrivare alla conclusione che è che minimizza l'espressione. Quindi ci deve essere qualcosa che fraintendo (giusto?). $E(Y|X)$ $X$ $h(X)$ $h(X)$

Ho dei dubbi sul significato di nell'affermazione del problema. Come deve essere interpretata la notazione? Significa $E[(Y−g(X))^2]$

$E_X[(Y−g(X))^2]$ , o ? $E_Y[(Y−g(X))^2]$ $E_{XY}[(Y−g(X))^2]$

— Martin Van der Linden
fonte

11

(Questo è un adattamento di Granger & Newbold (1986) "Previsioni serie economiche").

Per costruzione, la tua funzione di costo dell'errore è . Questo include un presupposto critico (che la funzione del costo dell'errore è simmetrica intorno allo zero) -una diversa funzione del costo dell'errore non avrebbe necessariamente il valore atteso condizionato come del suo valore atteso. Non è possibile ridurre al minimo la funzione del costo dell'errore perché contiene quantità sconosciute. Quindi decidi di ridurre al minimo il suo valore previsto. Quindi la tua funzione oggettiva diventa $\left[Y-g(X)\right]^2$ $\arg \min$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} {[y - g (X)]}^{2} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}\left[y-g(X)\right]^2f_{Y|X}(y|x)dy$

a cui credo risponde anche la tua seconda domanda. È intuitivo che il valore atteso sarà di subordinata , dato che stiamo cercando di stimare / prevedere basato su . Decomporre il quadrato da ottenere $Y$ $X$ $Y$ $X$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} y^{2} f_{Y | X} (y | x) d y - 2 g (X) \int_{- \infty}^{\infty} y f_{Y | X} (y | x) d y + [g (X)]^{2} \int_{- \infty}^{\infty} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}y^2f_{Y|X}(y|x)dy -2g(X)\int_{-\infty}^{\infty}yf_{Y|X}(y|x)dy \\+ \Big[g(X)\Big]^2\int_{-\infty}^{\infty}f_{Y|X}(y|x)dy$

Il primo termine non contiene quindi non influisce sulla minimizzazione e può essere ignorato. L'integrale nel secondo termine equivale al valore atteso condizionale di dato , e l'integrale nell'ultimo termine è uguale all'unità. Così $g(X)$ $Y$ $X$

\arg min_{g (x)} E {[Y - g (X)]}^{2} = \arg min_{g (x)} {- 2 g (X) E (Y ∣ X) + [g (X)]^{2}}

$\arg \min_{g(x)} E\left[Y-g(X)\right]^2 = \arg \min_{g(x)} \Big\{ -2g(X)E(Y\mid X) + \Big[g(X)\Big]^2 \Big\}$

La prima derivata wrt è porta alla condizione del primo ordine per la minimizzazione mentre la seconda derivata è uguale a che è sufficiente per un minimo. $g(X)$ $-2E(Y\mid X) + 2g(X)$ $g(X) = E(Y\mid X)$ $2>0$

ADDENDUM: la logica dell'approccio di prova "aggiungi e sottrai".

L'OP è perplesso per l'approccio indicato nella domanda, perché sembra tautologico. Non lo è, perché mentre usando la tattica di aggiungere e sottrarre una parte specifica della funzione obiettivo zero per una scelta arbitraria del termine che viene aggiunto e sottratto, NON eguaglia la funzione valore , vale a dire il valore dell'obiettivo funzione valutata presso il minimizer candidato.

Per la scelta abbiamo la funzione valore Per la scelta arbitraria abbiamo il valore funtion . $g(X) = E(Y \mid X)$ $V\left(E(Y\mid X)\right) = E\Big[ (Y-E(Y \mid X))^2\mid X\Big]$ $g(X) = h(X)$ $V\left(h(X)\right) = E\Big[ (Y-h(X))^2\mid X\Big]$

Lo rivendico

V (E (Y ∣ X)) \leq V (h (X))

$V\left(E(Y\mid X)\right) \le V\left(h(X)\right)$

\Rightarrow E (Y^{2} ∣ X) - 2 E [(Y E (Y ∣ X)) ∣ X] + E [(E (Y ∣ X))^{2} ∣ X] \leq E (Y^{2} ∣ X) - 2 E [(Y h (X)) ∣ X] + E [(h (X))^{2} ∣ X]

$\Rightarrow E(Y^2\mid X) -2E\Big [(YE(Y \mid X))\mid X\Big] + E\Big [(E(Y \mid X))^2\mid X\Big] \\\le E(Y^2\mid X) -2E\Big [(Yh(X))\mid X\Big] + E\Big [(h(X))^2\mid X\Big]$

Il primo termine di LHS e RHS si annulla. Si noti inoltre che l'aspettativa esterna è subordinato al . Dalle proprietà delle aspettative condizionali con cui finiamo $X$

. . . \Rightarrow - 2 E (Y ∣ X) \cdot E (Y ∣ X) + [E (Y ∣ X)]^{2} \leq - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$...\Rightarrow -2E(Y \mid X)\cdot E\Big (Y\mid X\Big) + \Big [E(Y \mid X)\Big]^2 \le -2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X)]^{2} - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X)\Big]^2-2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X) - h (x)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X) - h(x)\Big]^2$ che tiene in stretta disparità se . Quindi è il minimizer globale e unico.

h (x) \neq E (Y ∣ X)

$h(x) \neq E(Y \mid X)$

E (Y ∣ X)

$E(Y \mid X)$

Ma questo dice anche che l'approccio "aggiungi e sottrai" non è il modo più illuminante di dimostrazione qui.

— Alecos Papadopoulos
fonte

Grazie per la risposta. Aiuta a chiarire la mia seconda domanda. Mentre cercavo di comunicare il titolo della domanda, il mio problema principale (il primo nel post) riguardava più il meccanismo di prova. La mia preoccupazione principale riguarda la mia comprensione della prova che ho presentato nella domanda. Come ho spiegato, la mia comprensione della prova mi porta a un'affermazione palesemente problematica. Quindi vorrei capire se il mio errore è in quanto potrebbe rivelare alcuni equivoci più profondi sui concetti di aspettativa e aspettativa condizionale. Qualche idea a riguardo?

— Martin Van der Linden,

1

Ho aggiunto alcune spiegazioni sull'approccio "aggiungi e sottrai" alla prova.

— Alecos Papadopoulos,

Mi ci è voluto un po 'di tempo per capirlo, ma finalmente ho avuto il mio errore di base: abbastanza vero quando , ma non implica in alcun modo che minimizzi l'espressione . Non vi è alcun motivo per cui l'espressione tra parentesi non possa essere inferiore a zero. A causa del segno meno davanti a si possono trovare alcuni tali che .

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] = 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] = 0$

g (X) = h (X)

$g(X) = h(X)$

h (X)

$h(X)$

(Y - h (X)) (h (X) - g (X))

$\big(Y - h(X) \big) \big(h(X) - g(X)\big)$

g (X)

$g(X)$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] < 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] < 0$

— Martin Van der Linden,

1

Hmmm ... il segno meno nell'espressione a cui ti riferisci è un errore - dovrebbe essere un segno più. Ovviamente potresti riorganizzare i termini per ottenere di nuovo un segno meno ... Questo danneggia l'intuizione che hai guadagnato?

— Alecos Papadopoulos,

Grazie per tenere il passo con la domanda. Ho modificato il post iniziale per correggere questo errore. Fortunatamente, penso che non danneggi l'intuizione acquisita. In realtà mi aiuta a capire ancora un altro errore: stavo assumendo che il segno meno fosse importante per garantire che non fosse necessariamente il minimo di . Ma mi rendo conto che questo non riguarda solo il segno prima del 2. (Spero) Quello che dovevo davvero capire è che, in generale (cioè per arbitrario ) non deve essere minimizzato quando (giusto?).

0

$0$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}]

$E[−2(Y−h(X))(h(X)−g(X))+(h(X)−g(X))^2]$

h (X)

$h(X)$

E [2 (Y - h (X)) (h (X) - g (X))]

$E[2(Y−h(X))(h(X)−g(X))]$

g (X) = h (X)

$g(X)=h(X)$

— Martin Van der Linden,

5

Nota che per provare la risposta, devi solo dimostrarlo

E [- 2 (Y - E (Y | X)) (E (Y | X) - g (X))] = 0

$E \Big[ -2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) \Big] = 0$

Per quanto riguarda quale aspettativa prendere, la prendi in modo condizionale, altrimenti il termine

\arg min_{g (X)} E [(Y - g (X))^{2}]

$\arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

Non ha senso, poiché è una variabile casuale se è e non . Mostra che dovresti davvero scrivere o per chiarire questo. Ora dato questo chiarimento, il termine è una costante e può essere tirato fuori dall'attesa, e hai: $g(X)$ $E$ $E_{XY}$ $E_{Y|X}$ $E\Big[\big(Y - g(X)\big)^2|X\Big]$ $E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]$ $\big(E(Y|X) - g(X)\big)$

- 2 (E (Y | X) - g (X)) E [(Y - E (Y | X)) | X] = - 2 (E (Y | X) - g (X)) [E (Y | X) - E [E (Y | X) | X]] = - 2 (E (Y | X) - g (X)) [E (Y | X) - E (Y | X)] = 0

Quindi puoi scrivere la funzione obiettivo come:

E_{Y | X} [(Y - g (X))^{2}] = E_{Y | X} [(Y - E_{Y | X} (Y | X))^{2}] + (E_{Y | X} (Y | X) - g (X))^{2}

$E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]=E_{Y|X}\Big[\big(Y - E_{Y|X}(Y|X)\big)^2\Big]+\big(E_{Y|X}(Y|X) - g(X)\big)^2$

Il minimizer è ovvio da qui. Nota che se anche tu dovessi eseguire la media su , puoi mostrare un argomento molto simile per mostrare: $X$

E_{X} [(E (Y | X) - g (X))^{2}] = E_{X} [(E_{Y | X} (Y | X) - E_{X} [E_{Y | X} (Y | X)])^{2}] + (E_{X} [E_{Y | X} (Y | X)] - E_{X} [g (X)])^{2}

$E_{X}\Big[\big(E(Y|X) - g(X)\big)^2\Big]=E_{X}\Big[\big(E_{Y|X}(Y|X) - E_X\big[E_{Y|X}(Y|X)\big]\big)^2\Big]+\Big(E_{X}\big[E_{Y|X}(Y|X)\big] - E_X\big[g(X)\big]\Big)^2$

Ciò dimostra che se si imposta per ogni , si ha anche un minimizzatore su questa funzione. Quindi, in un certo senso, non importa se è o . $g(X)=E_{Y|X}(Y|X)$ $X$ $E$ $E_{YX}$ $E_{Y|X}$

— probabilityislogic
fonte

3

C'è un punto di vista matematico che è molto semplice. Quello che hai è un problema di proiezione in uno spazio di Hilbert, proprio come proiettare un vettore in su un sottospazio. $\mathbb{R}^n$

Let denota lo spazio di probabilità sottostante. Affinché il problema abbia un senso, considerare le variabili casuali con secondi momenti finiti, cioè lo spazio di Hilbert . Il problema ora è questo: dato , trova la proiezione di sul sottospazio , dove è il -subalgebra di generata da . (Proprio come nel caso delle dimensioni finite, minimizzare la distanza di in un sottospazio significa trovare la proiezione). La proiezione desiderata è $(\Omega, \mathcal{F}, \mu)$ $L^2(\Omega, \mathcal{F}, \mu)$ $X, Y \in L^2(\Omega, \mathcal{F}, \mu)$ $Y$ $L^2(\Omega, \mathcal{F}_X, \mu)$ $\mathcal{F}_X$ $\sigma$ $\mathcal{F}$ $X$ $L^2$ $E(X|Y)$ , per costruzione. (Questo in realtà caratterizza , se si ispeziona la prova dell'esistenza). $E(X|Y)$

— Michael
fonte

Questa è una bella risposta.

— jII

0

Per quanto riguarda la tua ultima domanda, l'aspettativa può essere wrt (errore incondizionato) o wrt (errore condizionale per ciascun valore ). Fortunatamente, minimizzare l'errore condizionale ad ogni valore minimizza anche l'errore incondizionato, quindi questa non è una distinzione cruciale. $p(x,y)$ $p(y\mid x)$ $X = x$ $X = x$

— Ulisses Braga-Neto
fonte