Come posso adattare un set di dati a una distribuzione di Pareto in R?

Diciamo, diciamo, i seguenti dati:

8232302  684531  116857   89724   82267   75988   63871   
  23718    1696     436     439     248     235

Desideri un modo semplice per adattare questo (e molti altri set di dati) a una distribuzione Pareto. Idealmente produrrebbe i valori teorici corrispondenti, meno idealmente i parametri.

r pareto-distribution

— Felix
fonte

cran.r-project.org/web/packages/fitdistrplus/fitdistrplus.pdf

— Stéphane Laurent,

Cosa si intende per "corrispondenza dei valori teorici"? Le aspettative delle statistiche degli ordini date le stime dei parametri? O qualcos'altro?

— Glen_b -Restate Monica

Bene, se hai un campione da una distribuzione di pareto con i parametri e (dove è il parametro limite inferiore e è il parametro forma) la probabilità logaritmica di quello il campione è: $X_1, ..., X_n$ $m>0$ $\alpha>0$ $m$ $\alpha$

n \log (α) + n α \log (m) - (α + 1) \sum_{i = 1}^{n} \log (X_{i})

$n \log(\alpha) + n \alpha \log(m) - (\alpha+1) \sum_{i=1}^{n} \log(X_i)$

questo è un aumento monotonico in , quindi il massimizzatore è il valore più grande che è coerente con i dati osservati. Poiché il parametro definisce il limite inferiore del supporto per la distribuzione di Pareto, l'ottimale è $m$ $m$

\hat{m} = min_{i} X_{i}

$\hat{m} = \min_{i} X_i$

che non dipende da . Quindi, usando i normali trucchi di calcolo, l'MLE per deve soddisfare $\alpha$ $\alpha$

\frac{n}{α} + n \log (\hat{m}) - \sum_{i = 1}^{n} \log (X_{i}) = 0

$\frac{n}{\alpha} + n \log( \hat{m} ) - \sum_{i=1}^{n} \log(X_i) = 0$

qualche semplice algebra ci dice che il MLE di è $\alpha$

\hat{α} = \frac{n}{\sum_{i = 1}^{n} \log (X_{i} / \hat{m})}

$\hat{\alpha} = \frac{n}{\sum_{i=1}^{n} \log(X_i/\hat{m})}$

In molti sensi importanti (ad es. Efficienza asintotica ottimale in quanto raggiunge il limite inferiore di Cramer-Rao), questo è il modo migliore per adattare i dati a una distribuzione di Pareto. Il codice R sottostante calcola la SMV per un dato insieme di dati, X.

pareto.MLE <- function(X)
{
   n <- length(X)
   m <- min(X)
   a <- n/sum(log(X)-log(m))
   return( c(m,a) ) 
}

# example. 
library(VGAM)
set.seed(1)
z = rpareto(1000, 1, 5) 
pareto.MLE(z)
[1] 1.000014 5.065213

Modifica: in base al commento di @cardinal e I di seguito, possiamo anche notare che è il reciproco della media di esempio di , che accade a avere una distribuzione esponenziale. Pertanto, se abbiamo accesso a software in grado di adattarsi a una distribuzione esponenziale (che è più probabile, dal momento che sembra insorgere in molti problemi statistici), è possibile realizzare una distribuzione di Pareto trasformando il set di dati in questo modo e adattandolo a una distribuzione esponenziale sulla scala trasformata. $\hat{\alpha}$ $\log(X_i /\hat{m})$

— macro
fonte

(+1) Possiamo scrivere cose un po 'più suggestivamente osservando che è distribuito esponenzialmente con rate . da questo e dall'invarianza degli MLE in trasformazione concludiamo subito che , dove sostituiamo con in quest'ultima espressione. Questo suggerisce anche come usare il software standard per adattarsi a un Pareto anche se non è disponibile alcuna opzione esplicita.

Y_{i} = \log (X_{i} / m)

$Y_i = \log(X_i/m)$

α

$\alpha$

\hat{α} = 1 / \bar{Y}

$\hat\alpha = 1/\bar Y$

m

$m$

\hat{m}

$\hat m$

— cardinale

@cardinal - Quindi, è il reciproco della media di esempio di , che ha una distribuzione esponenziale. In che modo questo ci aiuta?

\hat{α}

$\hat{\alpha}$

\log (X_{i} / \hat{m})

$\log(X_i/\hat{m})$

— Macro

Ciao Macro. Il punto che stavo cercando di chiarire era che il problema di stimare i parametri di un Pareto può essere (essenzialmente) ridotto a quello della stima del tasso di un esponenziale: attraverso la trasformazione sopra, possiamo convertire i nostri dati e il problema in un (forse) più familiare ed estrae immediatamente la risposta (supponendo che noi, o il nostro software, sappiamo già cosa fare con un campione di esponenziali).

— cardinale

Come posso misurare l'errore di questo tipo di adattamento?

— emanuele,

@emanuele, la varianza approssimativa di un MLE è l'inverso della matrice di informazioni sul pescatore, che richiederà di calcolare almeno un derivato della verosimiglianza. In alternativa, è possibile utilizzare un tipo di ricampionamento bootstrap per stimare l'errore standard.

— Macro,

È possibile utilizzare la fitdistfunzione fornita nel fitdistrpluspacchetto:

library(MASS)
library(fitdistrplus)
library(actuar)

# suppose data is in dataPar list
fp <- fitdist(dataPar, "pareto", start=list(shape = 1, scale = 500))
#the mle parameters will be stored in fp$estimate

— akashrajkn
fonte

Dovrebbe essere library(fitdistrplus)?

— Sean,

@Sean sì, modificando la risposta di conseguenza

— Kevin L Keys

Si noti che la chiamata a library(actuar)è necessaria affinché questo funzioni.

— jsta,

Cosa rappresenta fp $ stimare ["forma"] in questo caso? È forse l'alfa stimata? O beta?

— Albert Hendriks il