come uno stimatore quantico per il 1% quantile di


8

Di recente ho trovato il seguente stimatore quantico per una variabile casuale continua in un documento (non statistico, applicato): per un vettore x lungo 100 , il quantile dell'1% è stimato con min(x) . Ecco come si comporta: di seguito è riportato un diagramma della densità del kernel delle realizzazioni dello stimatore min(x) da 100.000 sequenze di simulazione di campioni lunghi 100 dalla distribuzione N(0,1) . La linea vertikal è il vero valore, vale a dire il quantile teorico dell'1% della distribuzione N(0,1) . Viene anche fornito il codice per la simulazione.

inserisci qui la descrizione dell'immagine

M=10e5; n=100
quantiles=rep(NA,M)
for(i in 1:M){ set.seed(i); quantiles[i]=min(rnorm(n)) }
plot(density(quantiles),main="Kernel density estimate of quantiles from M=100,000 simulation runs"); abline(v=qnorm(1/n))

Il grafico sembra qualitativamente simile per una distribuzione (solo un esempio). In entrambi i casi, lo stimatore è distorto verso il basso. Senza confronto con qualche altro stimatore, è comunque difficile dire quanto sia buono altrimenti. Da qui la mia domanda: ci sono degli stimatori alternativi che sono meglio, per esempio, nell'errore assoluto previsto o nell'errore quadratico previsto?t(3)


3
Bene, l'1% di 100 è 1, quindi è il quantile empirico dell'1%. min{Xi}
Xi'an

@ Xi'an, allo stesso tempo, è non tale punto una che 1% dei dati hanno valori inferiori, mentre il 99% dei dati hanno valori maggiori. In effetti, lo 0% dei dati ha valori inferiori a base alla progettazione di questo stimatore. Mi chiedo se questo non sia un problema. (In questo esempio, possiamo supporre che la distribuzione sia continua). min(x)
Richard Hardy,

1
D'altra parte, stimare il quantile dell'1% sulla base di 100 osservazioni sta richiedendo un po 'troppo dai dati.
Xi'an

1
"Buono" in che senso? Qual è la tua funzione di perdita e qual è il tuo modello di probabilità sottostante?
whuber

2
Il minimo potrebbe essere uno stimatore estremamente valido, ad esempio quando le distribuzioni hanno un limite inferiore finito. Quando la coda sinistra potrebbe essere pesante, il minimo potrebbe avere una varianza estremamente grande e quindi essere un cattivo stimatore. La simmetria non ha importanza, perché la distribuzione del minimo non sarà influenzata in modo apprezzabile dalla coda superiore. Per problemi parametrici, specialmente nelle famiglie a scala di posizione, la risposta di Aksakal suggerisce come costruire migliori stimatori di un percentile. Questi sono generalmente noti come intervalli di tolleranza. Per problemi non parametrici, tutto dipende.
whuber

Risposte:


4

Nella pratica viene utilizzato un campione lungo di 100 osservazioni lunghe come stimatore dell'1% quantile. L'ho visto chiamato "percentile empirico".

Famiglia di distribuzione nota

Se desideri un preventivo diverso e hai un'idea della distribuzione dei dati, ti suggerisco di esaminare le mediane delle statistiche degli ordini. Ad esempio, questo pacchetto R li utilizza per i coefficienti di correlazione del grafico delle probabilità PPCC . Puoi trovare come lo fanno per alcune distribuzioni come quella normale. Puoi vedere maggiori dettagli nel documento di Vogel del 1986 "Il test del coefficiente di correlazione della trama della probabilità per l'ipotesi di distribuzione normale, lognormale e gumbel" qui su mediane statistiche dell'ordine su distribuzioni normali e lognormali.

Ad esempio, dall'articolo Eog.2 di Vogel definisce il minimo (x) di 100 osservazioni campione dalla distribuzione normale standard come segue: dove la stima di la mediana di CDF:

M1=Φ1(FY(min(y)))
F^Y(min(y))=1(1/2)1/100=0.0069

Otteniamo il seguente valore: per lo standard normale a cui è possibile applicare la posizione e la scala per ottenere la stima del 1 ° percentile: .M1=2.46μ^2.46σ^

Ecco come si confronta con min (x) sulla distribuzione normale:

inserisci qui la descrizione dell'immagine

Il grafico in alto è la distribuzione dello stimatore min (x) del 1 ° percentile, e quello in basso è quello che ho suggerito di guardare. Ho anche incollato il codice qui sotto. Nel codice seleziono casualmente la media e la dispersione della distribuzione normale, quindi generi un campione di lunghezza 100 osservazioni. Quindi, trovo min (x), quindi lo ridimensiono alla normalità standard usando i parametri reali della distribuzione normale. Per il metodo M1, calcolo il quantile usando la media e la varianza stimate, quindi lo ridimensiono allo standard usando di nuovo i parametri reali . In questo modo posso spiegare l'impatto dell'errore di stima della media e della deviazione standard in una certa misura. Mostro anche il vero percentile con una linea verticale.

Puoi vedere come lo stimatore M1 è molto più stretto di min (x). È perché usiamo la nostra conoscenza del vero tipo di distribuzione , cioè normale. Non conosciamo ancora i parametri reali, ma anche la conoscenza della famiglia di distribuzione ha migliorato enormemente la nostra stima.

CODICE OTTAVA

Puoi eseguirlo qui online: https://octave-online.net/

N=100000
n=100

mus = randn(1,N);
sigmas = abs(randn(1,N));
r = randn(n,N).*repmat(sigmas,n,1)+repmat(mus,n,1);
muhats = mean(r);
sigmahats = std(r);

fhat = 1-(1/2)^(1/100)
M1 = norminv(fhat)
onepcthats = (M1*sigmahats + muhats - mus) ./ sigmas;

mins = min(r);
minonepcthats = (mins - mus) ./ sigmas;

onepct = norminv(0.01)

figure
subplot(2,1,1)
hist(minonepcthats,100)
title 'min(x)'
xlims = xlim;
ylims = ylim;
hold on
plot([onepct,onepct],ylims)

subplot(2,1,2)
hist(onepcthats,100)
title 'M1'
xlim(xlims)
hold on
plot([onepct,onepct],ylims)

Distribuzione sconosciuta

Se non provieni da quale distribuzione provengano i dati, esiste un altro approccio che viene utilizzato nelle applicazioni di rischio finanziario . Esistono due distribuzioni Johnson SU e SL. Il primo è per casi illimitati come Normal e Student t, e il secondo è per limiti inferiori come lognormale. È possibile adattare la distribuzione di Johnson ai propri dati, quindi utilizzare i parametri stimati per stimare il quantile richiesto. Tuenter (2001) ha suggerito una procedura di adattamento momento-corrispondenza, che viene utilizzata in pratica da alcuni.

Sarà meglio di min (x)? Non lo so per certo, ma a volte produce risultati migliori nella mia pratica, ad esempio quando non conosci la distribuzione ma sai che è più limitato.


1
@RichardHardy, ho aggiunto una demo per mostrare cosa sto suggerendo e come migliora al minimo (x). No, Vogel non parla nemmeno di min (x). Questa è la mia applicazione del metodo medians al tuo caso. PPCC utilizza i quantili dall'1 all'ennesima nel campione. In 100 campioni di osservazione min (x) è 1 ° percentile.
Aksakal,

Grazie per l'aggiornamento! Quello di cui mi chiedevo era che l'articolo di Vogel Eq.2 definisce il minimo (x) di 100 osservazioni campione : dovrebbe esserci invece di min (x)? Poiché altrimenti effettivamente min (x) viene ridefinito come qualcosa di diverso dal letterale min (x), questa è la mia impressione. M1
Richard Hardy,

@RichardHardy, riordinano le osservazioni, quindi M1 sarà min (x)
Aksakal
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.