Esistono numerosi stimatori di scala robusti . Un esempio notevole è la deviazione assoluta mediana che si riferisce alla deviazione standard come . In un quadro bayesiano esistono numerosi modi per stimare in modo robusto la posizione di una distribuzione approssimativamente normale (diciamo una Normale contaminata da valori anomali), ad esempio, si potrebbe supporre che i dati siano distribuiti alla distribuzione o alla distribuzione di Laplace. Ora la mia domanda:$\sigma = \mathrm{MAD}\cdot1.4826$

Quale sarebbe un modello bayesiano per misurare la scala di una distribuzione approssimativamente normale in modo robusto, robusto nello stesso senso del MAD o di stimatori robusti simili?

Come nel caso di MAD, sarebbe corretto se il modello bayesiano potesse avvicinarsi alla DS di una distribuzione normale nel caso in cui la distribuzione dei dati sia effettivamente distribuita.

modifica 1:

Un esempio tipico di un modello robusto contro la contaminazione / i anomali quando si presume che i dati siano all'incirca normali sta usando alla distribuzione come:$y_i$

Dove è la media, è la scala e è il grado di libertà. Con opportune priori su e \ nu , m sarà una stima del mezzo di y_i che saranno robusti contro valori anomali. Tuttavia, s non sarà una stima coerente della SD di y_i poiché s dipende da \ nu . Ad esempio, se \ nu verrebbe fissato su 4.0 e il modello sopra sarebbe adattato a un numero enorme di campioni da una distribuzione \ mathrm {Norm} (\ mu = 0, \ sigma = 1), allora s$m$$s$$\nu$$m, s$$\nu$$m$$y_i$$s$$y_i$$s$$\nu$$\nu$$\mathrm{Norm}(\mu=0,\sigma=1)$$s$sarebbe circa 0,82. Quello che sto cercando è un modello che sia robusto, come il modello t, ma per la SD invece (o in aggiunta) la media.

modifica 2:

Segue un esempio codificato in R e JAGS di come il modello t sopra menzionato sia più robusto rispetto alla media.

# generating some contaminated data
y <- c( rnorm(100, mean=10, sd=10), 
        rnorm(10, mean=100, sd= 100))

#### A "standard" normal model ####
model_string <- "model{
  for(i in 1:length(y)) {
    y[i] ~ dnorm(mu, inv_sigma2)
  }

  mu ~ dnorm(0, 0.00001)
  inv_sigma2 ~ dgamma(0.0001, 0.0001)
  sigma <- 1 / sqrt(inv_sigma2)
}"

model <- jags.model(textConnection(model_string), list(y = y))
mcmc_samples <- coda.samples(model, "mu", n.iter=10000)
summary(mcmc_samples)

### The quantiles of the posterior of mu
##  2.5%   25%   50%   75% 97.5% 
##   9.8  14.3  16.8  19.2  24.1 

#### A (more) robust t-model ####
library(rjags)
model_string <- "model{
  for(i in 1:length(y)) {
    y[i] ~ dt(mu, inv_s2, nu)
  }

  mu ~ dnorm(0, 0.00001)
  inv_s2 ~ dgamma(0.0001,0.0001)
  s <- 1 / sqrt(inv_s2)
  nu ~ dexp(1/30) 
}"

model <- jags.model(textConnection(model_string), list(y = y))
mcmc_samples <- coda.samples(model, "mu", n.iter=1000)
summary(mcmc_samples)

### The quantiles of the posterior of mu
## 2.5%   25%   50%   75% 97.5% 
##8.03  9.35  9.99 10.71 12.14 

L'inferenza bayesiana in un modello di rumore T con un precedente appropriato fornirà una solida stima della posizione e della scala. Le condizioni precise che la probabilità e il precedente devono soddisfare sono riportate nel documento Modello di robustezza bayesiana di parametri di posizione e scala di Andrade e O'Hagan (2011). Le stime sono solide nel senso che una singola osservazione non può rendere le stime arbitrariamente grandi, come dimostrato nella figura 2 del documento.

Quando i dati sono normalmente distribuiti, la SD della distribuzione T montata (per fixed ) non corrisponde alla SD della distribuzione generatrice. Ma questo è facile da risolvere. Let tramite la deviazione standard della distribuzione di generazione e sia tramite la deviazione standard della distribuzione T montato. Se i dati sono ridimensionati di 2, allora dalla forma della probabilità sappiamo che s deve ridimensionare di 2. Ciò implica che s = σ f ( ν ) per alcune funzioni fisse f . Questa funzione può essere calcolata numericamente mediante simulazione da una normale norma. Ecco il codice per fare questo:σ $\nu$$\sigma$$s$$s$$s = \sigma f(\nu)$$f$

library(stats)
library(stats4)
y = rnorm(100000, mean=0,sd=1)
nu = 4
nLL = function(s) -sum(stats::dt(y/s,nu,log=TRUE)-log(s))
fit = mle(nLL, start=list(s=1), method="Brent", lower=0.5, upper=2)
# the variance of a standard T is nu/(nu-2)
print(coef(fit)*sqrt(nu/(nu-2)))

Ad esempio, a ottengo f ( ν ) = 1.18 . Lo stimatore desiderato è allora σ = s / f ( ν ) .$\nu=4$$f(\nu)=1.18$$\hat{\sigma} = s/f(\nu)$

Mentre stai ponendo una domanda su un problema molto preciso (stima attendibile), ti offrirò una risposta altrettanto precisa. In primo luogo, tuttavia, inizierò a cercare di dissipare un'ipotesi ingiustificata. Non è vero che esiste una solida stima bayesiana della posizione (ci sono stimatori bayesiani delle posizioni, ma come illustrerò di seguito non sono robusti e, apparentemente , anche il più semplice stimatore robusto della posizione non è bayesiano). A mio avviso, le ragioni dell'assenza di sovrapposizioni tra il paradigma "bayesiano" e "robusto" nel caso della posizione spiegano ampiamente perché non vi sono anche stimatori della dispersione che siano sia robusti che bayesiani.

Con opportune priori su e ν , m sarà una stima della media di y i che saranno robusti contro valori anomali.$m, s$$\nu$$m$$y_i$

In realtà no. Le stime risultanti saranno solide solo in un senso molto debole della parola robusto. Tuttavia, quando diciamo che la mediana è robusta per gli outlier intendiamo la parola robusta in un senso molto più forte. Cioè, in statistiche solide, la robustezza della mediana si riferisce alla proprietà che se si calcola la mediana su una serie di dati di osservazioni tratte da un modello continuo uni-modale e quindi si sostituisce meno della metà di queste osservazioni con valori arbitrari , il valore della mediana calcolata sui dati contaminati è vicino al valore che avresti avuto se lo avessi calcolato sul set di dati originale (non contaminato). Quindi, è facile dimostrare che la strategia di stima che proponi nel paragrafo che ho citato sopra non lo è robusto nel senso di come la parola è generalmente intesa per la mediana.

Non ho familiarità con l'analisi bayesiana. Tuttavia, mi chiedevo cosa c'è di sbagliato nella seguente strategia in quanto sembra semplice, efficace e tuttavia non è stato preso in considerazione nelle altre risposte. Il precedente è che la buona parte dei dati è tratta da una distribuzione simmetrica e che il tasso di contaminazione è inferiore alla metà. Quindi, una semplice strategia sarebbe quella di:$F$

1. calcola la mediana / folle del tuo set di dati. Quindi calcola: $$z_i=\frac{|x_i-\mbox{med}(x)|}{\mbox{mad}(x)}$$
2. escludere le osservazioni per le quali (questo è il quantile α della distribuzione di z quando x ∼ F ). Questa quantità è disponibile per molte scelte di F e può essere avviata per gli altri.$z_i>q_{\alpha}(z|x\sim F)$$\alpha$$z$$x\sim F$$F$
3. Esegui un'analisi bayesiana (normale, non solida) sulle osservazioni non respinte.

MODIFICARE:

Grazie all'OP per aver fornito un codice R autonomo per condurre un'analisi bayesiana del problema.

il codice seguente confronta l'approccio bayesiano suggerito dal PO con la sua alternativa dalla robusta letteratura statistica (ad esempio il metodo di adattamento proposto da Gauss nel caso in cui i dati possano contenere fino a valori anomali e la distribuzione dei buona parte dei dati è gaussiana).$n/2-2$

la parte centrale dei dati è :$\mathcal{N}(1000,1)$

n<-100
set.seed(123)
y<-rnorm(n,1000,1)

Aggiungi una certa quantità di contaminanti:

y[1:30]<-y[1:30]/100-1000 
w<-rep(0,n)
w[1:30]<-1

l'indice w assume il valore 1 per i valori anomali. Comincio con l'approccio suggerito dal PO:

library("rjags")
model_string<-"model{
  for(i in 1:length(y)){
    y[i]~dt(mu,inv_s2,nu)
  }
  mu~dnorm(0,0.00001)
  inv_s2~dgamma(0.0001,0.0001)
  s<-1/sqrt(inv_s2)
  nu~dexp(1/30) 
}"

model<-jags.model(textConnection(model_string),list(y=y))
mcmc_samples<-coda.samples(model,"mu",n.iter=1000)
print(summary(mcmc_samples)$statistics[1:2])
summary(mcmc_samples)

Ottengo:

     Mean        SD 
384.2283  97.0445 

e:

2. Quantiles for each variable:

 2.5%   25%   50%   75% 97.5% 
184.6 324.3 384.7 448.4 577.7 

(tranquillo lontano quindi dai valori target)

Per il metodo robusto,

z<-abs(y-median(y))/mad(y)
th<-max(abs(rnorm(length(y))))
print(c(mean(y[which(z<=th)]),sd(y[which(z<=th)])))

si ottiene:

 1000.149 0.8827613

(molto vicino ai valori target)

Il secondo risultato è molto più vicino ai valori reali. Ma peggiora. Se classifichiamo come anomali le osservazioni per le quali il punteggio stimato è maggiore di (ricordate che il precedente è che F è gaussiano), l'approccio bayesiano rileva che tutte le osservazioni sono anomale (la solida procedura, al contrario, contrassegna tutto e solo i valori anomali in quanto tali). Ciò implica anche che se si dovesse eseguire un'analisi bayesiana abituale (non robusta) sui dati non classificati come anomali dalla procedura robusta, si dovrebbe fare bene (ad esempio soddisfare gli obiettivi indicati nella domanda).$z$th$F$
Questo è solo un esempio, ma in realtà è abbastanza semplice dimostrare che (e può essere fatto formalmente, vedi ad esempio nel capitolo 2 di [1]) i parametri di una distribuzione di uno studente adattata a dati contaminati non possono dipendere da rivelare i valori anomali. $t$

• [1] Ricardo A. Maronna, Douglas R. Martin, Victor J. Yohai (2006). Statistica solida: teoria e metodi (serie di Wiley in probabilità e statistica).
• Huber, PJ (1981). Statistiche affidabili. New York: John Wiley and Sons.

Nell'analisi bayesiana usare la distribuzione gamma inversa come un precedente per la precisione (l'inverso della varianza) è una scelta comune. O la distribuzione inversa di Wishart per modelli multivariati. L'aggiunta di un precedente alla varianza migliora la robustezza contro i valori anomali.

C'è un bel documento di Andrew Gelman: "Precedenti distribuzioni per parametri di varianza in modelli gerarchici" in cui discute quali buone scelte per i priori possano essere sulle varianze.

$\mu$$N$$\sigma^2$$\mu$$t$$N$

$\sigma$$D$

Ho seguito la discussione dalla domanda originale. Rasmus quando dici robustezza, sono sicuro che intendi nei dati (valori anomali, non mancate specifiche delle distribuzioni). Prenderò la distribuzione dei dati come distribuzione di Laplace anziché una distribuzione t, quindi come nella regressione normale in cui modelliamo la media, qui modelleremo la regressione mediana (molto robusta) o mediana (lo sappiamo tutti). Lascia che il modello sia:

$Y=\beta X+\epsilon$, $\epsilon$ ha laplace$(0,$$\sigma^2)$.

Ovviamente il nostro obiettivo è stimare i parametri del modello. Ci aspettiamo che i nostri priori siano vaghi e abbiano un modello oggettivo. Il modello a portata di mano ha un posteriore della forma$f(\beta,\sigma,Y,X)$. Dando$\beta$un precedente normale con una grande varianza rende un precedente così vago e un precedente di forma quadrata con piccoli gradi di libertà per imitare un precedente di jeffrey (vago precedente) è dato a$\sigma^2$. Con un campionatore Gibbs cosa succede? normale precedente + laplace likehood = ???? lo sappiamo. Anche chi-quadrato precedente + verosimiglianza sul posto = ??? non conosciamo la distribuzione. Fortunatamente per noi esiste un teorema in (Aslan, 2010) che trasforma una probabilità laplace in una miscela su scala di distribuzioni normali che ci permettono quindi di godere delle proprietà coniugate dei nostri priori. Penso che l'intero processo descritto sia pienamente solido in termini di valori anomali. In un'ambientazione multivariata chi-square diventa una distribuzione wishart e usiamo laplace multivariata e distribuzioni normali.

Supponi di avere $K$ gruppi e vuoi modellare la distribuzione delle loro varianze campione, forse in relazione ad alcune covariate $\bf{x}$. Cioè, supponiamo che i tuoi dati puntino al gruppo$k \in {1 \ldots K}$ è $\textrm{Var}(y_k) \in [0, \infty)$. La domanda qui è: "Che cos'è un modello robusto per la probabilità della varianza del campione?" Un modo per affrontarlo è modellare i dati trasformati$\textrm{ln}[\textrm{Var}(y_k)]$ as coming from a $t$ distribution, which as you have already mentioned is a robust version of the normal distribution. If you don't feel like assuming that the transformed variance is approximately normal as $n \rightarrow \infty$, then you could choose a probability distribution with positive real support that is known to have heavy tails compared to another distribution with the same location. For example, there is a recent answer to a question on Cross Validated about whether the lognormal or gamma distribution has heavier tails, and it turns out that the lognormal distribution does (thanks to @Glen_b for that contribution). In addition, you could explore the half-Cauchy family.

Similar reasoning applies if instead you are assigning a prior distribution over a scale parameter for a normal distribution. Tangentially, the lognormal and inverse-gamma distributions are not advisable if you want to form a boundary avoiding prior for the purposes of posterior mode approximation because they peak sharply if you parameterize them so that the mode is near zero. See BDA3 chapter 13 for discussion. So in addition to identifying a robust model in terms of tail thickness, keep in mind that kurtosis may matter to your inference, too.

I hope this helps you as much as your answer to one of my recent questions helped me.