Normalità asintotica della statistica dell'ordine delle distribuzioni dalla coda pesante

Sfondo: ho un campione che voglio modellare con una distribuzione dalla coda pesante. Ho alcuni valori estremi, tali che la diffusione delle osservazioni è relativamente grande. La mia idea era quella di modellare questo con una distribuzione Pareto generalizzata, e così ho fatto. Ora, il quantile 0,975 dei miei dati empirici (circa 100 punti dati) è inferiore al quantile 0,975 della distribuzione Pareto generalizzata che ho adattato ai miei dati. Ora, ho pensato, c'è un modo per verificare se questa differenza è qualcosa di cui preoccuparsi?

Sappiamo che la distribuzione asintotica dei quantili è data come:

Quindi ho pensato che sarebbe stata una buona idea intrattenere la mia curiosità cercando di tracciare le bande di confidenza al 95% attorno al quantile 0,975 di una distribuzione Pareto generalizzata con gli stessi parametri che ho ottenuto dall'adattamento dei miei dati.

Come vedi, stiamo lavorando con alcuni valori estremi qui. E poiché la diffusione è così enorme, la funzione di densità ha valori estremamente piccoli, portando le bande di confidenza nell'ordine di usando la varianza della formula di normalità asintotica sopra:$\pm 10^{12}$

$\pm 1.96\frac{0.975*0.025}{n({f_{GPD}(q_{0.975})})^2}$

Quindi, questo non ha alcun senso. Ho una distribuzione con solo risultati positivi e gli intervalli di confidenza includono valori negativi. Quindi qualcosa sta succedendo qui. Se calcolo le bande attorno allo 0,5 quantile, le bande non sono così grandi, ma comunque enormi.

Procedo per vedere come va con un'altra distribuzione, vale a dire la distribuzione . Simula osservazioni da una distribuzione e controlla se i quantili si trovano all'interno delle bande di confidenza. Faccio questo 10000 volte per vedere le proporzioni dei quantili 0,975 / 0,5 delle osservazioni simulate che si trovano all'interno delle bande di confidenza.$\mathcal{N}(1,1)$$n=100$$\mathcal{N}(1,1)$

    ################################################
# Test at the 0.975 quantile
################################################

#normal(1,1)

#find 0.975 quantile
q_norm<-qnorm(0.975, mean=1, sd=1)
#find density value at 97.5 quantile:
f_norm<-dnorm(q_norm, mean=1, sd=1)
#confidence bands absolute value:
band=1.96*sqrt((0.975*0.025)/(100*(f_norm)^2))
u=q_norm+band
l=q_norm-band

hit<-1:10000
for(i in 1:10000){
  d<-rnorm(n=100, mean=1, sd=1)
  dq<-quantile(d, probs=0.975)

  if(dq[[1]]>=l & dq[[1]]<=u) {hit[i]=1} else {hit[i]=0} 

}
sum(hit)/10000

#################################################################3
# Test at the 0.5 quantile  
#################################################################
#using lower quantile:

#normal(1,1)

#find 0.7 quantile
q_norm<-qnorm(0.7, mean=1, sd=1)
#find density value at 0.7 quantile:
f_norm<-dnorm(q_norm, mean=1, sd=1)
#confidence bands absolute value:
band=1.96*sqrt((0.7*0.3)/(100*(f_norm)^2))
u=q_norm+band
l=q_norm-band

hit<-1:10000
for(i in 1:10000){
  d<-rnorm(n=100, mean=1, sd=1)
  dq<-quantile(d, probs=0.7)

  if(dq[[1]]>=l & dq[[1]]<=u) {hit[i]=1} else {hit[i]=0} 

} 
sum(hit)/10000

EDIT : ho corretto il codice ed entrambi i quantili danno circa il 95% di hit con n = 100 e con . Se accendo la deviazione standard a , allora ci sono pochi successi all'interno delle bande. Quindi la domanda è ancora valida.$\sigma=1$$\sigma=2$

EDIT2 : ritiro ciò che ho affermato nel primo EDIT sopra, come sottolineato nei commenti di un gentiluomo disponibile. In realtà sembra che questi CI siano buoni per la distribuzione normale.

Questa normalità asintotica della statistica dell'ordine è solo una pessima misura da usare, se si vuole verificare se è probabile un certo quantile osservato, data una certa distribuzione candidata?

Intuitivamente, mi sembra che ci sia una relazione tra la varianza della distribuzione (che si pensa abbia creato i dati, o nel mio esempio R, che sappiamo aver creato i dati) e il numero di osservazioni. Se hai 1000 osservazioni e un'enorme varianza, queste bande sono cattive. Se uno ha 1000 osservazioni e una piccola varianza, queste bande avrebbero forse senso.

Qualcuno vuole chiarire questo per me?

Suppongo che la tua derivazione provenga da qualcosa di simile a quello in questa pagina .

Ho una distribuzione con solo risultati positivi e gli intervalli di confidenza includono valori negativi.

Bene, data la normale approssimazione che ha senso. Non c'è nulla che impedisca a un'approssimazione normale di fornire valori negativi, motivo per cui è un'approssimazione errata per un valore limitato quando la dimensione del campione è piccola e / o la varianza è grande. Se aumenti la dimensione del campione, gli intervalli si ridurranno perché la dimensione del campione è nel denominatore dell'espressione per la larghezza dell'intervallo. La varianza entra nel problema attraverso la densità: per la stessa media, una varianza più alta avrà una densità diversa, più alta ai margini e più bassa vicino al centro. Una densità inferiore indica un intervallo di confidenza più ampio perché la densità è nel denominatore dell'espressione.

Un po 'di googling hanno trovato questa pagina , tra gli altri, che utilizza la normale approssimazione alla distribuzione binomiale per costruire i limiti di confidenza. L'idea di base è che ogni osservazione scende al di sotto del quantile con probabilità q , quindi la distribuzione è binomiale. Quando la dimensione del campione è sufficientemente grande (questo è importante), la distribuzione binomiale è ben approssimata da una distribuzione normale con media e varianza . Quindi il limite di confidenza inferiore avrà indice e il limite di confidenza superiore avrà indice . C'è la possibilità che oppure$nq$$nq(1-q)$$j = nq - 1.96 \sqrt{nq(1-q)}$$k = nq - 1.96 \sqrt{nq(1-q)}$$k > n$$j < 1$ quando si lavora con quantili vicino al bordo e il riferimento che ho trovato è silenzioso su questo. Ho scelto di considerare solo il massimo o il minimo come valore rilevante.

Nella seguente riscrittura del tuo codice ho costruito il limite di confidenza sui dati empirici e testato per vedere se il quantile teorico rientra in quello. Questo ha più senso per me, perché il quantile del set di dati osservato è la variabile casuale. La copertura per n> 1000 è ~ 0,95. Per n = 100 è peggio a 0,85, ma è prevedibile per i quantili vicino alle code con campioni di piccole dimensioni.

#find 0.975 quantile
q <- 0.975
q_norm <- qnorm(q, mean=1, sd=1)

#confidence bands absolute value (note depends on sample size)
n <- 10000
band <- 1.96 * sqrt(n * q * (1 - q))

hit<-1:10000
for(i in 1:10000){
  d<-sort(rnorm(n, mean=1, sd=1))
  dq<-quantile(d, probs=q)
  u <- ceiling(n * q + band)
  l <- ceiling(n * q - band)
  if (u > n) u = n
  if (l < 1) l = 1
  if(q_norm>=d[l] & q_norm<=d[u]) {hit[i]=1} else {hit[i]=0} 

}
sum(hit)/10000

Per quanto riguarda la determinazione della dimensione del campione "abbastanza grande", beh, meglio è più grande. Il fatto che un determinato campione sia "abbastanza grande" dipende fortemente dal problema attuale e da quanto sei esigente riguardo ad aspetti come la copertura dei tuoi limiti di confidenza.