Stima media solida con efficienza di aggiornamento O (1)

Sto cercando una stima robusta della media che ha una proprietà specifica. Ho un insieme di elementi per i quali voglio calcolare questa statistica. Quindi, aggiungo nuovi elementi uno alla volta e per ogni elemento aggiuntivo vorrei ricalcolare la statistica (nota anche come algoritmo online). Vorrei che questo calcolo di aggiornamento fosse veloce, preferibilmente O (1), cioè non dipendente dalla dimensione della lista.

La solita media ha questa proprietà che può essere aggiornata in modo efficiente, ma non è robusta per i valori anomali. Gli stimatori robusti tipici della media, come la media inter-quartile e la media ritagliata, non possono essere aggiornati in modo efficiente (poiché richiedono il mantenimento di un elenco ordinato).

Gradirei qualsiasi suggerimento per statistiche affidabili che possono essere calcolate / aggiornate in modo efficiente.

Questa soluzione implementa un suggerimento fatto da @Innuo in un commento alla domanda:

È possibile mantenere un sottoinsieme casuale uniformemente campionato di dimensioni 100 o 1000 da tutti i dati visti finora. Questo set e le "recinzioni" associate possono essere aggiornate in volta.$O(1)$

Una volta che sappiamo come mantenere questo sottoinsieme, possiamo selezionare qualsiasi metodo che ci piace per stimare la media di una popolazione da tale campione. Questo è un metodo universale, senza fare alcuna ipotesi, che funzionerà con qualsiasi flusso di input con un'accuratezza che può essere prevista usando formule di campionamento statistico standard. (La precisione è inversamente proporzionale alla radice quadrata della dimensione del campione.)

Questo algoritmo accetta come input un flusso di dati una dimensione del campione e genera un flusso di campioni ciascuno dei quali rappresenta la popolazione . In particolare, per , è un semplice campione casuale di dimensione da (senza sostituzione).t = 1 , 2 , … , m s ( t ) X ( t ) = ( x ( 1 ) , x ( 2 ) , … , x ( t ) ) 1 ≤ i ≤ t s ( i ) m X ( t $x(t),$ $t=1, 2, \ldots,$$m$$s(t)$$X(t) = (x(1),x(2), \ldots, x(t))$$1\le i \le t$$s(i)$$m$$X(t)$

Perché ciò accada, è sufficiente che ogni sottoinsieme -elemento di abbia pari possibilità di essere gli indici di in . Ciò implica la possibilità che sia in uguale a fornito .{ 1 , 2 , … , t } x s ( t ) x ( i ) , 1 ≤ i < t , s ( t ) m / t t ≥ $m$$\{1,2,\ldots,t\}$$x$$s(t)$$x(i),$ $1\le i\lt t,$$s(t)$$m/t$$t \ge m$

All'inizio raccogliamo solo il flusso fino a quando elementi sono stati memorizzati. A quel punto esiste un solo campione possibile, quindi la condizione di probabilità è banalmente soddisfatta.$m$

L'algoritmo prende il sopravvento quando . Supponiamo induttivamente che sia un semplice campione casuale di per . Impostare provvisoriamente . Sia una variabile casuale uniforme (indipendente da qualsiasi variabile precedente utilizzata per costruire ). Se sostituisce un elemento di scelto casualmente con . Questa è l'intera procedura!s ( t ) X ( t ) t > m s ( t + 1 ) = s ( t ) U ( t + 1 ) s ( t ) U ( t + 1 ) ≤ m / ( t + 1 ) s x ( t + 1 )$t=m+1$$s(t)$$X(t)$$t\gt m$$s(t+1) = s(t)$$U(t+1)$$s(t)$$U(t+1) \le m/(t+1)$$s$$x(t+1)$

Chiaramente ha probabilità di essere in . Inoltre, per l'ipotesi di induzione, aveva probabilità di essere in quando . Con probabilità = sarà stato rimosso da , da cui la sua probabilità di rimanere ugualem / ( t + 1 ) s ( t + 1 ) x ( i ) m / t s ( t ) i ≤ t m / ( t + 1 ) × 1 / m 1 / ( t + 1 ) s ( t + 1 $x(t+1)$$m/(t+1)$$s(t+1)$$x(i)$$m/t$$s(t)$$i\le t$$m/(t+1) \times 1/m$$1/(t+1)$$s(t+1)$

esattamente come necessario. Per induzione, quindi, tutte le probabilità di inclusione di in sono corrette ed è chiaro che non esiste alcuna correlazione speciale tra tali inclusioni. Ciò dimostra che l'algoritmo è corretto.s ( t $x(i)$$s(t)$

L'efficienza dell'algoritmo è perché in ogni fase vengono calcolati al massimo due numeri casuali e al massimo viene sostituito un elemento di un array di valori . Il requisito di archiviazione è .m O ( m $O(1)$$m$$O(m)$

La struttura dei dati per questo algoritmo è costituita dai campioni insieme all'indice della popolazione che campiona. Inizialmente prendiamo e procediamo con l'algoritmo per Ecco un'implementazione per aggiornare con un valore per produrre . (L'argomento gioca il ruolo di ed è . L'indice verrà mantenuto dal chiamante.)t X ( t ) s = X ( m ) t = m + 1 , m + 2 , … . ( s , t ) x ( s , t + 1 ) t m $s$$t$$X(t)$$s = X(m)$$t=m+1, m+2, \ldots.$R$(s,t)$$x$$(s,t+1)$n$t$sample.size$m$$t$

update <- function(s, x, n, sample.size) {
  if (length(s) < sample.size) {
    s <- c(s, x)
  } else if (runif(1) <= sample.size / n) {
    i <- sample.int(length(s), 1)
    s[i] <- x
  }
  return (s)
}

Per illustrare e testare questo, userò il solito (non robusto) stimatore della media e confronterò la media stimata da con la media effettiva di (l'insieme cumulativo di dati visto ad ogni passaggio ). Ho scelto un flusso di input un po 'difficile che cambia in modo abbastanza regolare ma periodicamente subisce salti drammatici. La dimensione del campione di è abbastanza piccola, permettendoci di vedere le fluttuazioni di campionamento in questi grafici.X ( t ) m = $s(t)$$X(t)$$m=50$

n <- 10^3
x <- sapply(1:(7*n), function(t) cos(pi*t/n) + 2*floor((1+t)/n))
n.sample <- 50
s <- x[1:(n.sample-1)]
online <- sapply(n.sample:length(x), function(i) {
  s <<- update(s, x[i], i, n.sample)
  summary(s)})
actual <- sapply(n.sample:length(x), function(i) summary(x[1:i]))

A questo punto onlineè la sequenza delle stime medie prodotte mantenendo questo campione corrente di valori mentre è la sequenza delle stime medie prodotte da tutti i dati disponibili in ogni momento. Il grafico mostra i dati (in grigio), (in nero) e due applicazioni indipendenti di questa procedura di campionamento (a colori). L'accordo è all'interno dell'errore di campionamento previsto:$50$actualactual

plot(x, pch=".", col="Gray")
lines(1:dim(actual)[2], actual["Mean", ])
lines(1:dim(online)[2], online["Mean", ], col="Red")

Per stimatori affidabili della media, si prega di cercare nel nostro sito termini anomali e termini correlati. Tra le possibilità che vale la pena considerare ci sono le medie Winsorized e gli stimatori M.

Potresti pensare di mettere in relazione il tuo problema con quello del diagramma di controllo ricorsivo. Tale diagramma di controllo valuterà se una nuova osservazione è sotto controllo. In tal caso, questa osservazione è inclusa nella nuova stima della media e della varianza (necessaria per determinare i limiti di controllo).

Alcuni retroscena su grafici di controllo robusti, ricorsivi e univariati sono disponibili qui . Uno dei testi classici sul controllo di qualità e sulle carte di controllo sembra essere disponibile online qui .

Intuitivamente, usando una media, e una varianza come input, è possibile determinare se una nuova osservazione al momento è errata per un certo numero di approcci. Uno sarebbe dichiarare un valore anomalo se è al di fuori di un certo numero di deviazioni standard di (dato , ma ciò potrebbe incorrere in problemi se i dati lo fanno non conforme a determinati presupposti distributivi. Se vuoi percorrere questa strada, supponi di aver determinato se un nuovo punto non è un valore anomalo e desideri includerlo nella stima media senza un tasso speciale di dimenticanza. Quindi non puoi fare di meglio di: σ 2 t - 1 t x t μ t - 1 σ 2 t - 1$\mu_{t-1}$$\sigma^2_{t-1}$$t$$x_t$$\mu_{t-1}$$\sigma^2_{t-1})$

$\mu_t = \frac{t-1}{t}\mu_{t-1}+\frac{1}{t}x_t$

Allo stesso modo, dovrai aggiornare ricorsivamente la varianza:

$\sigma^2_t = \frac{t-1}{t}\sigma^2_{t-1}+\frac{1}{t-1}(x_t-\mu_t)^2$

Tuttavia, potresti voler provare alcuni grafici di controllo più convenzionali. Altri grafici di controllo che sono più robusti per la distribuzione dei dati e che possono ancora gestire la non stazionarietà (come il del tuo processo che va lentamente verso l'alto) sono raccomandati EWMA o CUSUM (vedi il libro di testo linkato sopra per maggiori dettagli su i grafici e i loro limiti di controllo). Questi metodi saranno in genere meno intensivi dal punto di vista computazionale rispetto a quelli robusti perché hanno il vantaggio di dover semplicemente confrontare una singola nuova osservazione con informazioni derivate da osservazioni non anomale. È possibile affinare le stime del processo a lungo termine e utilizzate nei calcoli del limite di controllo di questi metodi con le formule di aggiornamento fornite sopra, se lo si desidera.μ σ $\mu$$\mu$$\sigma^2$

Per quanto riguarda un grafico come l'EWMA, che dimentica le vecchie osservazioni e dà più peso a quelle nuove, se si ritiene che i dati siano stazionari (il che significa che i parametri della distribuzione generatrice non cambiano) non è necessario dimenticare in modo esponenziale le osservazioni più vecchie. È possibile impostare il fattore di dimenticanza di conseguenza. Tuttavia, se ritieni che sia non stazionarietà, dovrai selezionare un buon valore per il fattore di dimenticanza (vedi di nuovo il libro di testo per un modo per farlo).

Dovrei anche menzionare che prima di iniziare a monitorare e aggiungere nuove osservazioni online, è necessario ottenere stime di e (i valori dei parametri iniziali basati su un set di dati di addestramento) che non sono influenzati dai valori anomali. Se sospetti che ci siano valori anomali nei dati di allenamento, puoi pagare il costo una tantum dell'utilizzo di un metodo affidabile per stimarli.σ 2 $\mu_0$$\sigma^2_0$

Penso che un approccio in tal senso porterà all'aggiornamento più rapido per il tuo problema.