Calcolo della nuova deviazione standard utilizzando la vecchia deviazione standard dopo la modifica del set di dati

Ho una matrice di valori reali, che ha media e deviazione standard . Se un elemento dell'array viene sostituito da un altro elemento , allora sarà la nuova media $n$ $\mu_{old}$ $\sigma_{old}$ $x_i$ $x_j$

$\mu_{new}=\mu_{old}+\frac{x_j-x_i}{n}$

Il vantaggio di questo approccio è che richiede un calcolo costante indipendentemente dal valore di . Esiste un approccio per calcolare usando come il calcolo di usando ? $n$ $\sigma_{new}$ $\sigma_{old}$ $\mu_{new}$ $\mu_{old}$

standard-deviation online

— utente
fonte

Sono compiti a casa? Un compito molto simile è stato chiesto nel nostro corso di statistiche matematiche ...

— krlmlr

@ user946850: No, non sono i compiti. Sto conducendo la mia tesi sull'algoritmo evolutivo . Voglio usare la deviazione standard come misura della diversità della popolazione. Sto solo cercando una soluzione più efficiente.

— utente

La SD è la radice quadrata della varianza, che è solo il valore medio quadrato (regolato da un multiplo della media quadrata, che già sai come aggiornare). Pertanto, gli stessi metodi utilizzati per calcolare una media corrente possono essere applicati senza alcuna modifica fondamentale per calcolare una varianza corrente. In effetti, statistiche molto più sofisticate possono essere calcolate su base online usando le stesse idee: vedere i thread su stats.stackexchange.com/questions/6920 e stats.stackexchange.com/questions/23481 , ad esempio.

— whuber

@whuber: questo è menzionato nell'articolo di Wikipedia per la varianza , ma anche con una nota sulla cancellazione catastrofica (o perdita di significato) che può verificarsi. È sopravvalutato o è un vero problema per la varianza corrente?

— krlmlr,

Questa è un'ottima domanda. Se accumuli le varianze ingenuamente, senza centrarle in anticipo, puoi davvero metterti nei guai. Il problema si verifica quando i numeri sono enormi ma la loro varianza è piccola. Ad esempio, considera una serie di misurazioni accurate della velocità della luce in m / s, come in 299792458.145, 299792457.883, 299792457.998, ...: la loro varianza, che è di circa 0,01, è così piccola rispetto ai loro quadrati, che è di circa

, quel calcolo imprudente (anche in doppia precisione) comporterebbe una varianza zero: tutte le cifre significative svanirebbero.

10^{17}

$10^{17}$

— whuber

Risposte:

Una sezione dell'articolo di Wikipedia su "Algoritmi per il calcolo della varianza" mostra come calcolare la varianza se gli elementi vengono aggiunti alle tue osservazioni. (Ricorda che la deviazione standard è la radice quadrata della varianza.) Supponi di aggiungere al tuo array, quindi $x_{n+1}$

σ_{n e w}^{2} = σ_{o l d}^{2} + (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{o l d}) .

$\sigma_{new}^2 = \sigma_{old}^2 + (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$

EDIT : sopra la formula sembra essere sbagliato, vedi commento.

Ora, sostituire un elemento significa aggiungere un'osservazione e rimuoverne un'altra; entrambi possono essere calcolati con la formula sopra. Tuttavia, tenere presente che possono derivarne problemi di stabilità numerica; l'articolo citato propone anche varianti numericamente stabili.

Per derivare la formula da solo, calcola usando la definizione della varianza del campione e sostituisci con la formula che hai dato quando appropriato. Questo ti dà alla fine, e quindi una formula per dato e $(n-1)(\sigma_{new}^2 - \sigma_{old}^2)$ $\mu_{new}$ $\sigma_{new}^2 - \sigma_{old}^2$ $\sigma_{new}$ $\sigma_{old}$ $\mu_{old}$ . Nella mia notazione, suppongo che sostituisca l'elemento con : $x_n$ $x_n'$

\begin{array}{rcl} σ^{2} & = & (n - 1)^{- 1} \sum_{k} (x_{k} - μ)^{2} \\ (n - 1) (σ_{n e w}^{2} - σ_{o l d}^{2}) & = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{n e w})^{2} - (x_{k} - μ_{o l d})^{2}) \\ + ((x_{n}^{'} - μ_{n e w})^{2} - (x_{n} - μ_{o l d})^{2}) \\ = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{o l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{k} - μ_{o l d})^{2}) \\ + ((x_{n}^{'} - μ_{o l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{n} - μ_{o l d})^{2}) \end{array}

$\begin{eqnarray*} \sigma^2 &=& (n-1)^{-1} \sum_k (x_k - \mu)^2 \\ (n-1)(\sigma_{new}^2 - \sigma_{old}^2) &=& \sum_{k=1}^{n-1} ((x_k - \mu_{new})^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{new})^2 - (x_n - \mu_{old})^2) \\ &=& \sum_{k=1}^{n-1} ((x_k - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_n - \mu_{old})^2) \\ \end{eqnarray*}\\$

The $x_k$ in the sum transform into something dependent of $\mu_{old}$ , but you'll have to work the equation a little bit more to derive a neat result. This should give you the general idea.

— krlmlr
fonte

the first formula you gave does not seem correct, well it means that if the

x_{n + 1}

$x_{n+1}$ is smaller/larger then from both new and old mean, the variance always increases, which does not make any sense. It may increase or decrease depending on the distribution.

— Emmet B

@EmmetB: Yes, you're right -- this should probably be

σ_{n e w}^{2} = \frac{n - 1}{n} σ_{o l d}^{2} + \frac{1}{n} (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{o l d}) .

$\sigma_{new}^2 = \frac{n-1}{n} \sigma_{old}^2 + \frac{1}{n} (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$ Unfortunately, this renders void my whole discussion from there, but I'm leaving it for historic purposes. Feel free to edit, though.

— krlmlr

Based on what i think i'm reading on the linked Wikipedia article you can maintain a "running" standard deviation:

real sum = 0;
int count = 0;
real S = 0;
real variance = 0;

real GetRunningStandardDeviation(ref sum, ref count, ref S, x)
{
   real oldMean;

   if (count >= 1)
   {
       real oldMean = sum / count;
       sum = sum + x;
       count = count + 1;
       real newMean = sum / count;

       S = S + (x-oldMean)*(x-newMean)
   }
   else
   {
       sum = x;
       count = 1;
       S = 0;         
   }

   //estimated Variance = (S / (k-1) )
   //estimated Standard Deviation = sqrt(variance)
   if (count > 1)
      return sqrt(S / (count-1) );
   else
      return 0;
}

Although in the article they don't maintain a separate running sum and count, but instead have the single mean. Since in thing i'm doing today i keep a count (for statistical purposes), it is more useful to calculate the means each time.

— Ian Boyd
fonte

Given original $\bar x$ , $s$ , and $n$ , as well as the change of a given element $x_n$ to $x_n'$ , I believe your new standard deviation $s'$ will be the square root of

s^{2} + \frac{1}{n - 1} (2 n Δ \bar{x} (x_{n} - \bar{x}) + n (n - 1) (Δ \bar{x})^{2}),

$s^2 + \frac{1}{n-1}\left(2n\Delta \bar x(x_n-\bar x) +n(n-1)(\Delta \bar x)^2\right),$ where

Δ \bar{x} = {\bar{x}}^{'} - \bar{x}

$\Delta \bar x = \bar x' - \bar x$ , with

{\bar{x}}^{'}

$\bar x'$ denoting the new mean.

Maybe there is a snazzier way of writing it?

I checked this against a small test case and it seemed to work.

— Whistling in the Dark
fonte

@john / whistling in the Dark: I liked your answer, it seems work properly in my small dataset. Is there any mathematical foundation/reference on it? Could you kindly help?

— Alok Chowdhury

The question was all @Whistling in the Dark, I just cleaned it up for the site. You should pose a new question referencing the question and answer here. And also you should upvote this answer if you feel that way.

— John