Perché la varianza non è definita come la differenza tra ogni valore che si susseguono?

Questa potrebbe essere una semplice domanda per molti, ma eccola qui:

Perché la varianza non è definita come la differenza tra ogni valore che si susseguono invece della differenza rispetto alla media dei valori?

Questa sarebbe la scelta più logica per me, immagino che ovviamente sto supervisionando alcuni svantaggi. Grazie

MODIFICARE:

Vorrei riformulare il più chiaramente possibile. Questo è ciò che intendo:

1. Supponiamo di avere un intervallo di numeri, ordinati: 1,2,3,4,5
2. Calcola e riassumi le (assolute) differenze (in modo continuo, tra ogni valore successivo, non a coppie) tra valori (senza utilizzare la media).
3. Dividi per numero di differenze
4. (Follow-up: la risposta sarebbe diversa se i numeri non fossero ordinati)

-> Quali sono gli svantaggi di questo approccio rispetto alla formula standard per la varianza?

Il motivo più ovvio è che spesso non esiste una sequenza temporale nei valori. Quindi, se si confondono i dati, non fa alcuna differenza nelle informazioni trasmesse dai dati. Se seguiamo il tuo metodo, ogni volta che mescoli i dati ottieni una varianza del campione diversa.

La risposta più teorica è che la varianza del campione stima la vera varianza di una variabile casuale. La vera varianza di una variabile casuale è E [ ( X - E X ) 2 ]$X$

$$E\left[ (X - EX)^2 \right].$$

Qui rappresenta l'aspettativa o "valore medio". Quindi la definizione della varianza è la distanza media quadrata tra la variabile dal suo valore medio. Quando guardi questa definizione, qui non c'è un "ordine temporale" poiché non ci sono dati. È solo un attributo della variabile casuale.$E$

Quando raccogli dati iid da questa distribuzione, hai realizzazioni . Il modo migliore per stimare l'aspettativa è di prendere le medie del campione. La chiave qui è che abbiamo ottenuto i dati e quindi non è possibile ordinare i dati. Il campione x 1 , x 2 , … , x n è uguale al campione x 2 , x 5 , x 1 , x n . $x_1, x_2, \dots, x_n$$x_1, x_2, \dots, x_n$$x_2, x_5, x_1, x_n..$

MODIFICARE

La varianza del campione misura un tipo specifico di dispersione per il campione, quello che misura la distanza media dalla media. Esistono altri tipi di dispersione come l'intervallo di dati e l'intervallo interquantile.

Anche se si ordinano i valori in ordine crescente, ciò non modifica le caratteristiche del campione. I campioni (dati) ottenuti sono realizzazioni da una variabile. Il calcolo della varianza del campione è simile alla comprensione della quantità di dispersione nella variabile. Ad esempio, se campionate 20 persone e ne calcolate l'altezza, queste sono 20 "realizzazioni" dalla variabile casuale altezza delle persone. Ora la varianza del campione dovrebbe misurare la variabilità dell'altezza degli individui in generale. Se ordini i dati 100 , 110 , 123 , 124 , ... $X =$

$$100, 110, 123, 124, \dots,$$

che non modifica le informazioni nel campione.

Vediamo un altro esempio. supponiamo di avere 100 osservazioni da una variabile casuale ordinata in questo modo Quindi la distanza media successiva è 1 unità, quindi con il tuo metodo la varianza sarà 1.

$$1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, ... 100.$$

Il modo di interpretare "varianza" o "dispersione" è comprendere quale intervallo di valori è probabile per i dati. In questo caso otterrai un intervallo di 0,99 unità, che ovviamente non rappresenta bene la variazione.

Se invece di prendere la media sommi semplicemente le differenze successive, la tua varianza sarà 99. Naturalmente ciò non rappresenta la variabilità nel campione, perché 99 ti dà la gamma dei dati, non un senso di variabilità.

Si è definito in questo modo!

Ecco l'algebra. Lascia che i valori siano . Indichiamo con F la funzione di ripartizione empirica di questi valori (che significa che ogni x i articoli una massa di probabilità di 1 / n al valore x i ) e lasciate X e Y siano variabili casuali indipendenti con distribuzione F . In virtù delle proprietà di base della varianza (vale a dire, è una forma quadratica) nonché la definizione di F e il fatto$\mathbf{x}=(x_1, x_2, \ldots, x_n)$$F$$x_i$$1/n$$x_i$$X$$Y$$F$$F$ e Y hanno la stessa media,$X$$Y$

$$\eqalign{ \operatorname{Var}(\mathbf{x})&=\operatorname{Var}(X) = \frac{1}{2}\left(\operatorname{Var}(X) + \operatorname{Var}(Y)\right)=\frac{1}{2}\left(\operatorname{Var}(X-Y)\right)\\ &=\frac{1}{2}\left(\mathbb{E}((X-Y)^2) - \mathbb{E}(X-Y)^2\right)\\ &=\mathbb{E}\left(\frac{1}{2}(X-Y)^2\right) - 0\\ &=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2. }$$

Questa formula non dipende dal modo in cui è ordinata: utilizza tutte le possibili coppie di componenti, confrontandole usando metà delle loro differenze al quadrato. Tuttavia, può essere correlato a una media su tutti i possibili ordinamenti (il gruppo S ( n ) di tutte le n ! Permutazioni degli indici 1 , 2 , … , n ). Vale a dire,$\mathbf{x}$$\mathfrak{S}(n)$$n!$$1,2,\ldots, n$

$$\operatorname{Var}(\mathbf{x})=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2 = \frac{1}{n!}\sum_{\sigma\in\mathfrak{S}(n)} \frac{1}{n} \sum_{i=1}^{n-1} \frac{1}{2}(x_{\sigma(i)} - x_{\sigma(i+1)})^2.$$

Quella somma interna prende i valori riordinati e somma le (metà) differenze al quadrato tra tutte le n - 1 coppie successive. La divisione per n essenzialmente fa una media di queste differenze quadrate successive . Calcola la cosiddetta semivarianza lag-1 . La somma esterna fa questo per tutti i possibili ordini .$x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}$$n-1$$n$

---

Queste due viste algebriche equivalenti della formula della varianza standard offrono nuove informazioni sul significato della varianza. La semivarianza è una misura inversa della covarianza seriale di una sequenza: la covarianza è alta (e i numeri sono positivamente correlati) quando la semivarianza è bassa e viceversa. La varianza di un set di dati non ordinato , quindi, è una sorta di media di tutte le possibili semivarianze ottenibili con riordini arbitrari.

Solo un complemento alle altre risposte, la varianza può essere calcolata come la differenza quadrata tra i termini:

$$\begin{align} &\text{Var}(X) = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i-x_j\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i - \overline x -x_j + \overline x\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left((x_i - \overline x) -(x_j - \overline x\right))^2 = \\ &\frac{1}{n}\sum_i^n \left(x_i - \overline x \right)^2 \end{align}$$

Penso che questo sia il più vicino alla proposta del PO. Ricorda che la varianza è una misura della dispersione di ogni osservazione contemporaneamente, non solo tra numeri "vicini" nell'insieme.

---

AGGIORNARE

Usando il tuo esempio: . Sappiamo che la varianza è V a r ( X ) = 2 .$X = {1, 2, 3, 4, 5}$$Var(X) = 2$

Con il metodo proposto , quindi sappiamo in anticipo di prendere le differenze tra i vicini poiché la varianza non si somma. Ciò che intendevo era prendere ogni possibile differenza al quadrato quindi riassunta:$Var(X) = 1$

$$Var(X) = \\ = \frac{(5-1)^2+(5-2)^2+(5-3)^2+(5-4)^2+(5-5)^2+(4-1)^2+(4-2)^2+(4-3)^2+(4-4)^2+(4-5)^2+(3-1)^2+(3-2)^2+(3-3)^2+(3-4)^2+(3-5)^2+(2-1)^2+(2-2)^2+(2-3)^2+(2-4)^2+(2-5)^2+(1-1)^2+(1-2)^2+(1-3)^2+(1-4)^2+(1-5)^2}{2 \cdot 5^2} = \\ =\frac{16+9+4+1+9+4+1+1+4+1+1+4+1+1+4+9+1+4+9+16}{50} = \\ =2$$

Altri hanno risposto sull'utilità della varianza definita come al solito. Ad ogni modo, abbiamo solo due definizioni legittime di cose diverse: la solita definizione di varianza e la tua definizione.

Quindi, la domanda principale è perché il primo si chiama varianza e non la tua. Questa è solo una questione di convenzioni. Fino al 1918 avresti potuto inventare tutto quello che volevi e chiamarlo "varianza", ma nel 1918 Fisher usò quel nome per quella che è ancora chiamata varianza, e se vuoi definire qualcos'altro dovrai trovare un altro nome per nominarlo.

L'altra domanda è se la cosa che hai definito potrebbe essere utile per qualsiasi cosa. Altri hanno indicato che i suoi problemi devono essere utilizzati come misura di dispersione, ma sta a te trovarne le applicazioni. Forse trovi applicazioni così utili che in un secolo la tua cosa è più famosa della varianza.

La risposta di @GreenParker è più completa, ma un esempio intuitivo potrebbe essere utile per illustrare lo svantaggio del tuo approccio.

Nella tua domanda, sembri presumere che l'ordine in cui compaiono le realizzazioni di una variabile casuale sia importante. Tuttavia, è facile pensare ad esempi in cui non è così.

Considera l'esempio dell'altezza degli individui in una popolazione. L'ordine in cui gli individui vengono misurati è irrilevante sia per l'altezza media nella popolazione che per la varianza (come distribuire tali valori attorno alla media).

Il tuo metodo sembrerebbe strano applicato a un caso del genere.

Sebbene ci siano molte buone risposte a questa domanda, credo che alcuni punti importanti siano stati lasciati indietro e poiché questa domanda è emersa da un punto davvero interessante, vorrei fornire un altro punto di vista.

Why isn't variance defined as the difference between every value following    
each other instead of the difference to the average of the values?

La prima cosa da tenere a mente è che la varianza è un tipo particolare di parametro e non un certo tipo di calcolo. Esiste una rigorosa definizione matematica di cosa sia un parametro, ma per il momento possiamo pensare quindi a operazioni matematiche sulla distribuzione di una variabile casuale. Ad esempio se$X$ è una variabile casuale con funzione di distribuzione $F_X$ quindi la sua media $\mu_x$, che è anche un parametro, è:

$$\mu_X = \int_{-\infty}^{+\infty}xdF_{X}(x)$$

and the variance of $X$, $\sigma^2_X$, is:

$$\sigma^2_X = \int_{-\infty}^{+\infty}(x - \mu_X)^2dF_{X}(x)$$

The role of estimation in statistics is to provide, from a set of realizations of a r.v., a good approximation for the parameters of interest.

What I wanted to show is that there is a big difference in the concepts of a parameters (the variance for this particular question) and the statistic we use to estimate it.

Why isn't the variance calculated this way?

So we want to estimate the variance of a random variable $X$ from a set of independent realizations of it, lets say $x = \{x_1,\ldots,x_n\}$. The way you propose doing it is by computing the absolute value of successive differences, summing and taking the mean:

$$\psi(x) = \frac{1}{n}\sum_{i = 2}^{n}|x_i - x_{i-1}|$$

and the usual statistic is:

$$S^2(x) = \frac{1}{n-1}\sum_{i = i}^{n}(x_i - \bar{x})^2,$$

where $\bar{x}$ is the sample mean.

When comparing two estimator of a parameter the usual criterion for the best one is that which has minimal mean square error (MSE), and a important property of MSE is that it can be decomposed in two components:

MSE = estimator bias + estimator variance.

Using this criterion the usual statistic, $S^2$, has some advantages over the one you suggests.

• First it is a unbiased estimator of the variance but your statistic is not unbiased.

• One other important thing is that if we are working with the normal distribution then $S^2$ is the best unbiased estimator of $\sigma^2$ in the sense that it has the smallest variance among all unbiased estimators and thus minimizes the MSE.

When normality is assumed, as is the case in many applications, $S^2$ is the natural choice when you want to estimate the variance.

The time-stepped difference is indeed used in one form, the Allan Variance. http://www.allanstime.com/AllanVariance/

Lots of good answers here, but I'll add a few.

1. The way it is defined now has proven useful. For example, normal distributions appear all the time in data and a normal distribution is defined by its mean and variance. Edit: as @whuber pointed out in a comment, there are various other ways specify a normal distribution. But none of them, as far as I'm aware, deal with pairs of points in sequence.
2. Variance as normally defined gives you a measure of how spread out the data is. For example, lets say you have a lot of data points with a mean of zero but when you look at it, you see that the data is mostly either around -1 or around 1. Your variance would be about 1. However, under your measure, you would get a total of zero. Which one is more useful? Well, it depends, but its not clear to me that a measure of zero for its "variance" would make sense.
3. Ti permette di fare altre cose. Solo un esempio, nella mia classe di statistiche abbiamo visto un video sul confronto tra i lanciatori (nel baseball) nel tempo. A quanto ricordo, i lanciatori sembravano peggiorare dal momento che la proporzione di tiri colpiti (o erano home run) stava salendo. Uno dei motivi è che i battitori stavano migliorando. Ciò ha reso difficile il confronto tra i lanciatori nel tempo. Tuttavia, potrebbero usare il punteggio z dei lanciatori per confrontarli nel tempo.

Tuttavia, come diceva @Pere, la tua metrica potrebbe rivelarsi molto utile in futuro.