Posso ricostruire una distribuzione normale dalla dimensione del campione e dai valori minimo e massimo? Posso usare il punto intermedio per delineare la media

So che potrebbe essere un po 'complicato, statisticamente, ma questo è il mio problema.

Ho molti dati di intervallo, vale a dire la dimensione minima, massima e di campionamento di una variabile. Per alcuni di questi dati ho anche una media, ma non molti. Voglio confrontare questi intervalli tra loro per quantificare la variabilità di ciascun intervallo e anche confrontare i mezzi. Ho una buona ragione per presumere che la distribuzione sia simmetrica rispetto alla media e che i dati avranno una distribuzione gaussiana. Per questo motivo sto pensando di poter giustificare l'uso del punto medio della distribuzione come proxy per la media, quando è assente.

Quello che voglio fare è ricostruire una distribuzione per ogni intervallo e quindi usarla per fornire una deviazione standard o un errore standard per quella distribuzione. Le uniche informazioni che ho sono il massimo e il minimo osservati da un campione e il punto medio come proxy per la media.

In questo modo spero di essere in grado di calcolare le medie ponderate per ciascun gruppo, e anche di elaborare il coefficiente di variazione anche per ciascun gruppo, in base ai dati di intervallo che ho e alle mie ipotesi (di una distribuzione simmetrica e normale).

Ho intenzione di usare R per fare questo, quindi anche qualsiasi aiuto sul codice sarebbe apprezzato.

— green_thinlake
fonte

Mi chiedevo perché dici di avere dati per i valori minimo, massimo e massimo; poi in seguito hai informazioni solo sul minimo e sul massimo previsti. Chi è - osservato o previsto?

— Scortchi - Ripristina Monica

Scusa, questo è il mio errore. Vengono osservati i dati massimo e minimo (misurati da oggetti della vita reale). Ho modificato il post.

— green_thinlake,

Risposte:

La funzione di distribuzione cumulativa congiunta per il minimo e il massimo per un campione di da una distribuzione gaussiana con media e deviazione standard è $x_{(1)}$ $x_{(n)}$ $n$ $\mu$ $\sigma$

F (x_{(1)}, x_{(n)}; μ, σ) = Pr (X_{(1)} < x_{(1)}, X_{(n)} < x_{(n)}) = Pr (X_{(n)} < x_{(n)}) - Pr (X_{(1)} > x_{(1)}, X_{(n)} < x_{(n)} = Φ {(\frac{x_{(n)} - μ}{σ})}^{n} - {[Φ (\frac{x_{(n)} - μ}{σ}) - Φ (\frac{x_{(1)} - μ}{σ})]}^{n}

$F(x_{(1)},x_{(n)};\mu,\sigma) = \Pr(X_{(1)}<x_{(1)}, X_{(n)}<x_{(n)})\\ =\Pr( X_{(n)}<x_{(n)}) - \Pr(X_{(1)}>x_{(1)}, X_{(n)}<x_{(n)}\\ =\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)^n - \left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) -\Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^n$

dove è il CDF gaussiano standard. La differenziazione rispetto a e fornisce la funzione di densità di probabilità congiunta $\Phi(\cdot)$ $x_{(1)}$ $x_{(n)}$

f (X_{(1)}, X_{(n)}; μ, σ) = n (n - 1) {[Φ (\frac{X_{(n)} - μ}{σ}) - Φ (\frac{X_{(1)} - μ}{σ})]}^{n - 2} \cdot φ (\frac{X_{(n)} - μ}{σ}) \cdot φ (\frac{X_{(1)} - μ}{σ}) \cdot \frac{1}{σ^{2}}

$f(x_{(1)},x_{(n)};\mu,\sigma) =\\ n(n-1)\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^{n-2}\cdot\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)\cdot\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\cdot\tfrac{1}{\sigma^2}$

dove è il PDF gaussiano standard. Prendere i log e rilasciare termini che non contengono parametri fornisce la funzione di verosimiglianza $\phi(\cdot)$

ℓ (μ, σ; x_{(1)}, x_{(n)}) = (n - 2) \log [Φ (\frac{x_{(n)} - μ}{σ}) - Φ (\frac{x_{(1)} - μ}{σ})] + \log ϕ (\frac{x_{(n)} - μ}{σ}) + \log ϕ (\frac{x_{(1)} - μ}{σ}) - 2 \log σ

$\ell(\mu,\sigma;x_{(1)},x_{(n)}) =\\ (n-2)\log\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right] + \log\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) + \log\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right) - 2\log\sigma$

Questo non sembra molto trattabili, ma è facile vedere che è massimizzata qualunque sia il valore di da cornice $\sigma$ , ovvero il punto medio: il primo termine viene massimizzato quando l'argomento di un CDF è negativo dell'argomento dell'altro; il secondo e il terzo termine rappresentano la probabilità congiunta di due variate normali indipendenti. $\mu=\hat\mu=\frac{x_{(n)}+x_{(1)}}{2}$

Sostituendo nella log-verosimiglianza e scrittura dà $\hat\mu$ $r=x_{(n)}-x_{(1)}$

ℓ (σ; x_{(1)}, x_{(n)}, \hat{μ}) = (n - 2) \log [1 - 2 Φ (\frac{- r}{2 σ})] - \frac{r^{2}}{4 σ^{2}} - 2 \log σ

$\ell(\sigma;x_{(1)},x_{(n)},\hat\mu)=(n-2)\log\left[1 - 2\Phi\left(\tfrac{-r}{2\sigma}\right)\right] - \frac{r^2}{4\sigma^2} -2\log{\sigma}$

Questa espressione deve essere massimizzata numericamente (per esempio con optimizeda R statpacchetto) per trovare . (Si scopre che , dove è una costante che dipende solo da -Forse qualcuno più matematicamente abile che ho potuto mostrare perché.) $\hat\sigma$ $\hat\sigma=k(n)\cdot r$ $k$ $n$

Le stime sono inutili senza una misura di precisione accompagnatoria. Le informazioni Fisher osservate possono essere valutate numericamente (ad es. Con hessianil numDerivpacchetto R ) e utilizzate per calcolare errori standard approssimativi:

I (μ) = - {\frac{\partial^{2} ℓ (μ; \hat{σ})}{(\partial μ)^{2}} |}_{μ = \hat{μ}}

$I(\mu)=-\left.\frac{\partial^2{\ell(\mu;\hat\sigma)}}{(\partial\mu)^2}\right|_{\mu=\hat\mu}$

I (σ) = - {\frac{\partial^{2} ℓ (σ; \hat{μ})}{(\partial σ)^{2}} |}_{σ = \hat{σ}}

$I(\sigma)=-\left.\frac{\partial^2{\ell(\sigma;\hat\mu)}}{(\partial\sigma)^2}\right|_{\sigma=\hat\sigma}$

$\sigma$

— Scortchi - Ripristina Monica
fonte

2 \log (r)

$2\log(r)$

σ / r

$\sigma/r$

n

$n$

σ / r

$\sigma/r$

n \to k (n)

$n\to k(n)$

\hat{σ} = k (n) r

$\hat\sigma=k(n)r$ studentizzato gamma .

— whuber

@whuber: grazie! Sembra ovvio con il senno di poi. Lo includerò nella risposta.

— Scortchi - Ripristina Monica

È necessario correlare l'intervallo alla deviazione / varianza standard $\mu$ essere il cattivo, $\sigma$ la deviazione standard e $R=x_{(n)} - x_{(1)}$ essere la gamma. Quindi per la distribuzione normale abbiamo quello $99.7$ % della massa di probabilità si trova all'interno di 3 deviazioni standard dalla media. Questo, come regola pratica significa che con probabilità molto alta,

μ + 3 σ \approx X_{(n)}

$\mu + 3\sigma \approx x_{(n)}$ e

μ - 3 σ \approx X_{(1)}

$\mu - 3\sigma \approx x_{(1)}$

Sottraendo il secondo dal primo che otteniamo

6 σ \approx X_{(n)} - X_{(1)} = R

$6\sigma \approx x_{(n)} - x_{(1)}= R$ (questo, a proposito, da dove proviene la metodologia di garanzia della qualità "six-sigma" nell'industria). Quindi è possibile ottenere un preventivo per la deviazione standard di

\hat{σ} = \frac{1}{6} ({\bar{X}}_{(n)} - {\bar{X}}_{(1)})

$\hat \sigma = \frac 16 \Big(\bar x_{(n)} - \bar x_{(1)}\Big)$ dove la barra indica le medie. Questo è quando supponi che tutti i sottocampioni provengano dalla stessa distribuzione (hai scritto di avere intervalli previsti ). Se ogni campione è una normale diversa, con media e varianza diverse, è possibile utilizzare la formula per ciascun campione, ma l'incertezza / possibile imprecisione nel valore stimato della deviazione standard sarà molto maggiore.

Avere un valore per la media e per la deviazione standard caratterizza completamente la distribuzione normale.

— Alecos Papadopoulos
fonte

That's neither a close approximation for small

n

$n$ nor an asymptotic result for large

n

$n$ .

— Scortchi - Reinstate Monica

@Stortchi Well, I didn't say that it is a good estimate -but I believe that it is always good to have easily implemented solutions, even very rough, in order to get a quantitative sense of the issue at hand, alongside the more sophisticated and efficient approaches like for example the one outlined in the other answer to this question.

— Alecos Papadopoulos

I wouldn't carp at "the expectation of the sample range turns out to be about 6 times the standard deviation for values of

n

$n$ from 200 to 1000". But am I missing something subtle in your derivation, or wouldn't it work just as well to justify dividing the range by any number?

— Scortchi - Reinstate Monica

@Scortchi Well, the spirit of the approach is "if we expect almost all realizations to fall within 6 sigmas, then it is reasonable to expect that the extreme realizations will be near the border" -that's all there is to it, really. Perhaps I am too used to operate under extremely incomplete information, and obliged to say something quantitative about it... :)

— Alecos Papadopoulos

I could reply that even more observations would fall within

10 σ

$10 \sigma$ della media, dando una stima migliore

\hat{σ} = \frac{R}{10}

$\hat\sigma=\frac{R}{10}$ . Non lo farò perché è una sciocchezza. Qualsiasi numero sopra

1.13

$1.13$ sarà una stima approssimativa per un certo valore di

n

$n$ .

— Scortchi - Ripristina Monica

È semplice ottenere la funzione di distribuzione del massimo della distribuzione normale (vedere "P.max.norm" nel codice). Da esso (con alcuni calcoli) è possibile ottenere la funzione quantile (vedere "Q.max.norm").

Utilizzando "Q.max.norm" e "Q.min.norm" è possibile ottenere la mediana dell'intervallo correlato a N. Utilizzando l'idea presentata da Alecos Papadopoulos (nella risposta precedente) è possibile calcolare sd.

Prova questo:

N = 100000    # the size of the sample

# Probability function given q and N
P.max.norm <- function(q, N=1, mean=0, sd=1){
    pnorm(q,mean,sd)^N
} 
# Quantile functions given p and N
Q.max.norm <- function(p, N=1, mean=0, sd=1){
    qnorm(p^(1/N),mean,sd)
} 
Q.min.norm <- function(p, N=1, mean=0, sd=1){
    mean-(Q.max.norm(p, N=N, mean=mean, sd=sd)-mean)
} 

### lets test it (takes some time)
Q.max.norm(0.5, N=N)  # The median on the maximum
Q.min.norm(0.5, N=N)  # The median on the minimum

iter = 100
median(replicate(iter, max(rnorm(N))))
median(replicate(iter, min(rnorm(N))))
# it is quite OK

### Lets try to get estimations
true_mean = -3
true_sd = 2
N = 100000

x = rnorm(N, true_mean, true_sd)  # simulation
x.vec = range(x)                  # observations

# estimation
est_mean = mean(x.vec)
est_sd = diff(x.vec)/(Q.max.norm(0.5, N=N)-Q.min.norm(0.5, N=N))

c(true_mean, true_sd)
c(est_mean, est_sd)

# Quite good, but only for large N
# -3  2
# -3.252606  1.981593

— Vyga
fonte

Continuing this approach,

E (R) = σ \int_{- \infty}^{\infty} 1 - (1 - Φ (x))^{n} - Φ (x)^{n} d x = σ d_{2} (n)

$\operatorname{E} (R) = \sigma \int_{-\infty}^{\infty} 1-(1-\Phi(x))^n -\Phi(x)^n\, \mathrm{d} x = \sigma d_2(n)$ , dove

R

$R$ è la gamma e

Φ (\cdot)

$\Phi(\cdot)$ la normale funzione di distribuzione cumulativa normale. È possibile trovare valori tabulati di

d_{2}

$d_2$ per i piccoli

n

$n$ nella letteratura di controllo del processo statistico, valuta numericamente l'integrale o simula per te

n

$n$ .

— Scortchi - Ripristina Monica