Varianza di una variabile casuale limitata

22

Supponiamo che una variabile casuale abbia un limite inferiore e uno superiore [0,1]. Come calcolare la varianza di una tale variabile?

variance standard-deviation measurement-error

— Piotr
fonte

8

Come per una variabile illimitata: impostare in modo appropriato i limiti di integrazione o di somma.

— Scortchi - Ripristina Monica

2

Come ha detto @Scortchi. Ma sono curioso di sapere perché hai pensato che potesse essere diverso?

— Peter Flom - Ripristina Monica

3

A meno che non si sappia nulla della variabile (nel qual caso un limite superiore della varianza potrebbe essere calcolato dall'esistenza di limiti), perché il fatto che sia limitato viene inserito nel calcolo?

— Glen_b

6

Un utile limite superiore sulla varianza di una variabile casuale che assume valori in con probabilità è e viene raggiunto da una variabile casuale discreta che assume valori e con uguale probabilità . Un altro punto da tenere a mente è che la varianza è garantita mentre una variabile casuale illimitata potrebbe non avere una varianza (alcune, come le variabili casuali di Cauchy non hanno nemmeno una media).

[a, b]

$[a,b]$

1

$1$

(b - a)^{2} / 4

$(b-a)^2/4$

a

$a$

b

$b$

\frac{1}{2}

$\frac{1}{2}$

— Dilip Sarwate,

7

C'è una variabile casuale discreta cui varianza uguale esattamente: una variabile casuale che assume valori e con uguale probabilità . Quindi, almeno sappiamo che un limite superiore universale sulla varianza non può essere più piccolo di .

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

a

$a$

b

$b$

\frac{1}{2}

$\frac{1}{2}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Dilip Sarwate,

46

Puoi provare la disuguaglianza di Popoviciu come segue. Utilizzare la notazione e . Definire una funzione con Calcolando la derivata , e risolvendo troviamo che raggiunge il suo minimo at ( nota che ). $m=\inf X$ $M=\sup X$ $g$

g (t) = E [{(X - t)}^{2}] .

$g(t)=\mathbb{E}\left[\left(X-t\right)^2\right] \, .$

g^{'}

$g'$

g^{'} (t) = - 2 E [X] + 2 t = 0,

$g'(t) = -2\mathbb{E}[X] +2t=0 \, ,$

g

$g$

t = E [X]

$t=\mathbb{E}[X]$

g^{″} > 0

$g''>0$

Ora, considera il valore della funzione nel punto speciale . Deve essere il caso che Ma Poiché e , abbiamo ,, implicando che $g$ $t=\frac{M+m}{2}$

V a r [X] = g (E [X]) \leq g (\frac{M + m}{2}) .

$\mathbb{Var}[X]=g(\mathbb{E}[X])\leq g\left(\frac{M+m}{2}\right) \, .$

g (\frac{M + m}{2}) = E [{(X - \frac{M + m}{2})}^{2}] = \frac{1}{4} E [{((X - m) + (X - M))}^{2}] .

$g\left(\frac{M+m}{2}\right) = \mathbb{E}\left[\left(X - \frac{M+m}{2}\right)^2 \right] = \frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \, .$

X - m \geq 0

$X-m\geq 0$

X - M \leq 0

$X-M\leq 0$

{((X - m) + (X - M))}^{2} \leq {((X - m) - (X - M))}^{2} = {(M - m)}^{2},

$\left((X-m)+(X-M)\right)^2\leq\left((X-m)-(X-M)\right)^2=\left(M-m\right)^2 \, ,$

\frac{1}{4} E [{((X - m) + (X - M))}^{2}] \leq \frac{1}{4} E [{((X - m) - (X - M))}^{2}] = \frac{(M - m)^{2}}{4} .

$\frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \leq \frac{1}{4}\mathbb{E}\left[\left((X-m) - (X-M)\right)^2 \right] = \frac{(M-m)^2}{4} \, .$

Pertanto, abbiamo dimostrato la disuguaglianza di Popoviciu

V a r [X] \leq \frac{(M - m)^{2}}{4} .

$\mathbb{Var}[X]\leq \frac{(M-m)^2}{4} \, .$

— zen
fonte

3

Approccio piacevole: è bello vedere dimostrazioni rigorose di questo tipo di cose.

— whuber

22

+1 bello! Ho imparato le statistiche molto prima che i computer fossero in voga, e un'idea che ci era venuta in mente era che che ha consentito il calcolo della varianza trovando la somma dei quadrati delle deviazioni da qualsiasi punto conveniente e quindi aggiustando per il bias. Qui, naturalmente, questa identità fornisce una semplice prova del risultato che ha un valore minimo at senza la necessità di derivati ecc.

E [(X - t)^{2}] = E [((X - μ) - (t - μ))^{2}] = E [(X - μ)^{2}] + (t - μ)^{2}

$E[(X-t)^2] = E[((X-\mu)-(t-\mu))^2] = E[(X-\mu)^2]+(t-\mu)^2$

t

$t$

g (t)

$g(t)$

t = μ

$t=\mu$

— Dilip Sarwate,

18

Sia una distribuzione su . Mostreremo che se la varianza di è massima, allora può avere alcun supporto all'interno, da cui segue che è Bernoulli e il resto è banale. $F$ $[0,1]$ $F$ $F$ $F$

È un dato di notazione, lasciate il esimo momento grezzo (e, come al solito, si scrive e per la varianza). $\mu_k = \int_0^1 x^k dF(x)$ $k$ $F$ $\mu = \mu_1$ $\sigma^2 = \mu_2 - \mu^2$

Sappiamo che non ha tutto il suo supporto ad un certo punto (la varianza è minima in quel caso). Tra le altre cose, ciò implica che sta rigorosamente tra e . Per argomentare per contraddizione, supponiamo che ci sia un sottoinsieme misurabile all'interno per il quale . Senza alcuna perdita di generalità possiamo ipotizzare (cambiando in se necessario) che : in altre parole, si ottiene tagliando qualsiasi parte di sopra la media e $F$ $\mu$ $0$ $1$ $I$ $(0,1)$ $F(I)\gt 0$ $X$ $1-X$ $F(J = I \cap (0, \mu]) \gt 0$ $J$ $I$ $J$ ha probabilità positive.

Modifichiamo in prendendo tutta la probabilità da e posizionandola su . $F$ $F'$ $J$ $0$ Così facendo, modifiche $\mu_k$

μ_{K}^{'} = μ_{K} - \int_{J} X^{K} d F (X) .

$\mu'_k = \mu_k - \int_J x^k dF(x).$

In termini di notazione, scriviamo per tali integrali, da cui $[g(x)] = \int_J g(x) dF(x)$

μ_{2}^{'} = μ_{2} - [X^{2}], μ^{'} = μ - [X] .

$\mu'_2 = \mu_2 - [x^2], \quad \mu' = \mu - [x].$

Calcolare

σ^{' 2} = μ_{2}^{'} - μ^{' 2} = μ_{2} - [X^{2}] - (μ - [X])^{2} = σ^{2} + ((μ [X] - [X^{2}]) + (μ [X] - [X]^{2})) .

$\sigma'^2 = \mu'_2 - \mu'^2 = \mu_2 - [x^2] - (\mu - [x])^2 = \sigma^2 + \left((\mu[x] - [x^2]) + (\mu[x] - [x]^2)\right).$

Il secondo termine a destra, , non è negativo perché ovunque sul . Il primo termine a destra può essere riscritto $(\mu[x] - [x]^2)$ $\mu \ge x$ $J$

μ [X] - [X^{2}] = μ (1 - [1]) + ([μ] [X] - [X^{2}]) .

$\mu[x] - [x^2] = \mu(1 - [1]) + ([\mu][x] - [x^2]).$

Il primo termine a destra è strettamente positivo perché (a) e (b) perché abbiamo assunto che non sia concentrato in un punto. Il secondo termine non è negativo perché può essere riscritto come e questo integrando non è negativo dalle ipotesi su e . Ne segue che . $\mu \gt 0$ $[1] = F(J) \lt 1$ $F$ $[(\mu-x)(x)]$ $\mu \ge x$ $J$ $0 \le x \le 1$ $\sigma'^2 - \sigma^2 \gt 0$

Abbiamo appena dimostrato che sotto le nostre ipotesi, cambiando a strettamente aumenta la sua varianza. L'unico modo in cui ciò non può accadere, quindi, è quando tutta la probabilità di è concentrata agli endpoint e , con (diciamo) i valori e , rispettivamente. La sua varianza è facilmente calcolabile per eguagliare che è massima quando e uguale a lì. $F$ $F'$ $F'$ $0$ $1$ $1-p$ $p$ $p(1-p)$ $p=1/2$ $1/4$

Ora, quando è una distribuzione su , è più recente e la ridimensioniamo su una distribuzione su . Il recente non modifica la varianza mentre il riscaling la divide per . Quindi una con varianza massima su corrisponde alla distribuzione con varianza massima su : è quindi una distribuzione di Bernoulli riscalata e tradotta in con varianza 2/4 , QED . $F$ $[a,b]$ $[0,1]$ $(b-a)^2$ $F$ $[a,b]$ $[0,1]$ $(1/2)$ $[a,b]$ $(b-a)^2/4$

— whuber
fonte

Interessante, whuber. Non conoscevo questa prova.

— Zen,

6

@Zen Non è affatto elegante come il tuo. L'ho offerto perché nel corso degli anni mi sono ritrovato a pensare in questo modo di fronte a disuguaglianze distributive molto più complicate: chiedo come si possa spostare la probabilità per rendere la disuguaglianza più estrema. Come euristico intuitivo è utile. Usando approcci come quello qui esposto, ho il sospetto che si possa derivare una teoria generale per dimostrare che una grande classe di tali disuguaglianze, con una sorta di sapore ibrido del calcolo delle variazioni e tecniche del moltiplicatore (di dimensione finita) di Lagrange.

— whuber

Perfetto: la tua risposta è importante perché descrive una tecnica più generale che può essere utilizzata per gestire molti altri casi.

— Zen,

@whuber ha detto: "Chiedo come si può spostare la probabilità per rendere la disuguaglianza più estrema." - questo sembra essere il modo naturale di pensare a tali problemi.

— Glen_b

Sembra che ci siano alcuni errori nella derivazione. Dovrebbe essereInoltre, non è uguale a poiché non è uguale a

μ [x] - [x^{2}] = μ (1 - [1]) [x] + ([μ] [x] - [x^{2}]) .

$\mu[x] - [x^2] = \mu(1 - [1])[x] + ([\mu][x] - [x^2]).$

[(μ - x) (x)]

$[(\mu-x)(x)]$

[μ] [x] - [x^{2}]

$[\mu][x] - [x^2]$

[μ] [x]

$[\mu][x]$

μ [x]

$\mu[x]$

— Leo

13

Se la variabile casuale è limitata a e conosciamo la media , la varianza è limitata da . $[a,b]$ $\mu=E[X]$ $(b-\mu)(\mu-a)$

Consideriamo innanzitutto il caso . Si noti che per tutti , , quindi anche . Utilizzando questo risultato, $a=0, b=1$ $x\in [0,1]$ $x^2\leq x$ $E[X^2]\leq E[X]$

σ^{2} = E [X^{2}] - (E [X]^{2}) = E [X^{2}] - μ^{2} \leq μ - μ^{2} = μ (1 - μ) .

$\begin{equation} \sigma^2 = E[X^2] - (E[X]^2) = E[X^2] - \mu^2 \leq \mu - \mu^2 = \mu(1-\mu). \end{equation}$

Per generalizzare ad intervalli con , considera limitato a . Definisci , che è limitato in . Equivalentemente, , e quindi cui la disuguaglianza si basa sul primo risultato. Ora, sostituendo , il limite è uguale a che è il risultato desiderato. $[a,b]$ $b>a$ $Y$ $[a,b]$ $X=\frac{Y-a}{b-a}$ $[0,1]$ $Y = (b-a)X + a$

V a r [Y] = (b - a)^{2} V a r [X] \leq (b - a)^{2} μ_{X} (1 - μ_{X}) .

$\begin{equation} Var[Y] = (b-a)^2Var[X] \leq (b-a)^2\mu_X (1-\mu_X). \end{equation}$

μ_{X} = \frac{μ_{Y} - a}{b - a}

$\mu_X = \frac{\mu_Y - a}{b-a}$

(b - a)^{2} \frac{μ_{Y} - a}{b - a} (1 - \frac{μ_{Y} - a}{b - a}) = (b - a)^{2} \frac{μ_{Y} - a}{b - a} \frac{b - μ_{Y}}{b - a} = (μ_{Y} - a) (b - μ_{Y}),

$\begin{equation} (b-a)^2\, \frac{\mu_Y - a}{b-a}\,\left(1- \frac{\mu_Y - a}{b-a}\right) = (b-a)^2 \frac{\mu_Y -a}{b-a}\,\frac{b - \mu_Y}{b-a} = (\mu_Y - a)(b- \mu_Y), \end{equation}$

— Juho Kokkala
fonte

8

Su richiesta di @ user603 ....

Un utile limite superiore sulla varianza di una variabile casuale che assume valori in con probabilità è . Una prova per il caso speciale (che è ciò di cui l'OP ha chiesto) può essere trovata qui su math.SE ed è facilmente adattabile al caso più generale. Come notato nel mio commento precede e la risposta si fa qui riferimento, una variabile casuale discreta che assume valori e con uguale probabilità ha varianza e quindi non è possibile trovare un limite generale più stretto . $\sigma^2$ $[a,b]$ $1$ $\sigma^2 \leq \frac{(b−a)^2}{4}$ $a=0, b=1$ $a$ $b$ $\frac{1}{2}$ $\frac{(b−a)^2}{4}$

Un altro punto da tenere a mente è che una variabile casuale limitata ha una varianza finita, mentre per una variabile casuale illimitata, la varianza potrebbe non essere finita e in alcuni casi potrebbe anche non essere definibile. Ad esempio, la media non può essere definita per le variabili casuali di Cauchy , quindi non si può definire la varianza (come l'attesa della deviazione al quadrato dalla media).

— Dilip Sarwate
fonte

questo è un caso speciale della risposta di @ Juho

— Aksakal,

Era solo un commento, ma potrei anche aggiungere che questa risposta non risponde alla domanda posta.

— Aksakal,

@Aksakal So ??? Juho stava rispondendo a una domanda leggermente diversa e molto più recente. Questa nuova domanda è stata unita a quella che vedi sopra, a cui ho risposto dieci mesi fa.

— Dilip Sarwate,

0

sei sicuro che questo sia vero in generale - per distribuzioni continue e discrete? Puoi fornire un link alle altre pagine? Per una distribuzione generale su è banale mostrare che Immagino che esistano disuguaglianze più acute ... Hai bisogno del fattore per il tuo risultato? $[a,b]$

V un' r (X) = E [(X - E [X])^{2}] \leq E [(B - un')^{2}] = (B - un')^{2} .

$Var(X) = E[(X-E[X])^2] \le E[(b-a)^2] = (b-a)^2.$

1 / 4

$1/4$

D'altra parte lo si può trovare con il fattore sotto il nome Popoviciu's_inequality su wikipedia. $1/4$

Questo articolo sembra migliore dell'articolo di Wikipedia ...

Per una distribuzione uniforme sostiene che

V un' r (X) = \frac{(B - un')^{2}}{12} .

$Var(X) = \frac{(b-a)^2}{12}.$

— Ric
fonte

Questa pagina indica il risultato con l'inizio di una dimostrazione che mi coinvolge un po 'troppo perché sembra richiedere una comprensione del "Teorema fondamentale della programmazione lineare". sci.tech-archive.net/Archive/sci.math/2008-06/msg01239.html

— Adam Russell

Grazie per aver dato un nome a questo! "La disuguaglianza di Popoviciu" è proprio quello di cui avevo bisogno.

— Adam Russell,

2

Questa risposta fornisce alcuni suggerimenti errati: è davvero giusto. Il riferimento alla disuguaglianza di Popoviciu funzionerà, ma in senso stretto si applica solo alle distribuzioni con supporto finito (in particolare, che non include distribuzioni continue). Un argomento limitante farebbe il trucco, ma qui è necessario qualcosa in più.

1 / 4

$1/4$

— whuber

2

Una distribuzione continua può avvicinarsi a una discreta (in termini di cdf) arbitrariamente da vicino (ad esempio costruire una densità continua da una data discreta posizionando un piccolo kernel a forma di Beta (4,4) centrato in ciascun punto di massa - dell'area appropriata - e lasciare che la deviazione standard di ciascun kernel si riduca a zero mantenendo costante la sua area). Tali limiti discreti discussi qui fungeranno quindi anche da limiti alle distribuzioni continue. Mi aspetto che tu stia pensando a continue distribuzioni unimodali ... che in effetti hanno limiti superiori diversi.

— Glen_b -Restate Monica

2

Bene ... la mia risposta è stata la meno utile, ma la lascerei qui a causa dei bei commenti. Saluti, R

— Ric,