Intervallo di confidenza per la varianza dato un'osservazione

Questo è un problema della "7ª Olimpiade degli studenti di Kolmogorov nella teoria della probabilità":

Data un'osservazione $X$ da una distribuzione $\operatorname{Normal}(\mu,\sigma^2)$ con entrambi i parametri sconosciuti, fornire un intervallo di confidenza per con un livello di confidenza di almeno il 99%. $\sigma^2$

Mi sembra che questo dovrebbe essere impossibile. Ho la soluzione, ma non l'ho ancora letta. qualche idea?

Pubblicherò la soluzione tra un paio di giorni.

[Modifica del follow-up: soluzione ufficiale pubblicata di seguito. La soluzione di Cardinal è più lunga, ma offre un intervallo di confidenza migliore. Grazie anche a Max e Glen_b per il loro contributo.]

— Jonathan Christensen
fonte

Sembra impossibile anche a me; Attendo la risposta

— Peter Flom - Ripristina Monica

Dai un'occhiata a questo sito .

— assunto normale il

Ecco un documento con una migliore formattazione: carta .

— assunto normale il

Eh. Ricordo di aver letto un articolo su questa roba (intervalli di osservazione) molti anni fa. Potrebbe essere stato questo .

— Glen_b

@Max, grazie per il link! Non ho ancora avuto il tempo di esaminarlo da vicino, ma lo farò. Ho pubblicato la risposta "ufficiale" qui sotto.

— Jonathan Christensen,

Risposte:

Visto attraverso la lente delle disuguaglianze di probabilità e delle connessioni al caso di osservazione multipla, questo risultato potrebbe non sembrare così impossibile o, almeno, potrebbe sembrare più plausibile.

Lascia che con e sconosciuto. Possiamo scrivere per . $\renewcommand{\Pr}{\mathbb P}\newcommand{\Ind}[1]{\mathbf 1_{(#1)}}X \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $X = \sigma Z + \mu$ $Z \sim \mathcal N(0,1)$

Reclamo principale : è un intervallo di confidenza per dove è il quantile level di una distribuzione chi-quadrato con un grado di la libertà. Inoltre, poiché questo intervallo trovi esattamente copertura quando , è il più stretto possibile intervallo di modulo per qualche . $[0,X^2/q_\alpha)$ $(1-\alpha)$ $\sigma^2$ $q_\alpha$ $\alpha$ $(1-\alpha)$ $\mu = 0$ $[0,b X^2)$ $b \in \mathbb R$

Un motivo di ottimismo

Ricordiamo che nel caso , con , l' intervallo di confidenza tipico per è dove è quantile -livello di chi-quadrato con gradi di libertà. Questo, ovviamente, vale per qualsiasi . Mentre questo è l' intervallo più popolare (chiamato intervallo di coda uguale per ovvi motivi), non è né l'unico né nemmeno quello di larghezza più piccola! Come dovrebbe essere evidente, un'altra selezione valida è $n \geq 2$ $T = \sum_{i=1}^n (X_i - \bar X)^2$ $(1-\alpha)$ $\sigma^2$

(\frac{T}{q_{n - 1, (1 - α) / 2}}, \frac{T}{q_{n - 1, α / 2}}),

$\Big(\frac{T}{q_{n-1,(1-\alpha)/2}}, \frac{T}{q_{n-1,\alpha/2}} \Big) \>,$

q_{k, a}

$q_{k,a}$

a

$a$

k

$k$

μ

$\mu$

(0, \frac{T}{q_{n - 1, α}}) .

$\Big(0,\frac{T}{q_{n-1,\alpha}}\Big) \>.$

Poiché, , quindi ha anche una copertura di almeno . $T \leq \sum_{i=1}^n X_i^2$

(0, \frac{\sum_{i = 1}^{n} X_{i}^{2}}{q_{n - 1, α}}),

$\Big(0,\frac{\sum_{i=1}^n X_i^2}{q_{n-1,\alpha}}\Big) \>,$

(1 - α)

$(1-\alpha)$

Visto in questa luce, potremmo quindi essere ottimisti sul fatto che l'intervallo nella rivendicazione principale è vero per . La differenza principale è che non esiste una distribuzione chi-quadrata a zero gradi di libertà per il caso di una singola osservazione, quindi dobbiamo sperare che l'uso di un quantile con un grado di libertà funzioni. $n = 1$

Mezzo passo verso la nostra destinazione ( sfruttando la coda destra )

Prima di immergerci in una prova dell'affermazione principale, diamo prima un'occhiata a un'affermazione preliminare che non è altrettanto forte o soddisfacente statisticamente, ma forse fornisce alcune informazioni aggiuntive su ciò che sta accadendo. Puoi passare alla prova del reclamo principale di seguito, senza perdite eccessive (se presenti). In questa sezione e nella successiva, le prove - sebbene leggermente sottili - si basano solo su fatti elementari: monotonia delle probabilità, simmetria e unimodalità della distribuzione normale.

Reclamo ausiliario : è un intervallo di confidenza per fintanto che . Qui è il quantile -level di una normale standard. $[0,X^2/z^2_\alpha)$ $(1-\alpha)$ $\sigma^2$ $\alpha > 1/2$ $z_\alpha$ $\alpha$

Prova . eper simmetria, quindi in ciò che segue possiamo prendere senza perdita di generalità. Ora, per e , e così con , vediamo che Funziona solo per , poiché questo è ciò che è necessario per . $|X| = |-X|$ $|\sigma Z + \mu| \stackrel{d}{=} |-\sigma Z+\mu|$ $\mu \geq 0$ $\theta \geq 0$ $\mu \geq 0$

P (| X | > θ) \geq P (X > θ) = P (σ Z + μ > θ) \geq P (Z > θ / σ),

$\Pr(|X| > \theta) \geq \Pr( X > \theta) = \Pr( \sigma Z + \mu > \theta) \geq \Pr( Z > \theta/\sigma) \>,$

θ = z_{α} σ

$\theta = z_{\alpha} \sigma$

P (0 \leq σ^{2} < X^{2} / z_{α}^{2}) \geq 1 - α .

$\Pr(0 \leq \sigma^2 < X^2 / z^2_\alpha) \geq 1 - \alpha \>.$

α > 1 / 2

$\alpha > 1/2$

z_{α} > 0

$z_\alpha > 0$

Ciò dimostra l'affermazione ausiliaria. Sebbene sia illustrativo, è insaturo da una prospettiva statistica poiché richiede un assurdamente grande per funzionare. $\alpha$

Dimostrare il reclamo principale

Un perfezionamento dell'argomento sopra riportato porta a un risultato che funzionerà per un livello di confidenza arbitrario. Innanzitutto, nota che Impostare e . Quindi, Se possiamo mostrare che il lato destro aumenta in per ogni fisso , allora possiamo usare un argomento simile a quello precedente. Questo è almeno plausibile, poiché vorremmo credere che se la media aumenta, allora diventa più probabile che vediamo un valore con un modulo che supera

P (| X | > θ) = P (| Z + μ / σ | > θ / σ) .

$\Pr(|X| > \theta) = \Pr(|Z + \mu/\sigma| > \theta / \sigma ) \>.$

a = μ / σ \geq 0

$a = \mu/\sigma \geq 0$

b = θ / σ \geq 0

$b = \theta / \sigma \geq 0$

P (| Z + un' | > B) = Φ (un' - B) + Φ (- un' - B) .

$\Pr(|Z + a| > b) = \Phi(a-b) + \Phi(-a-b) \>.$

a

$a$

b

$b$

b

$b$ . (Tuttavia, dobbiamo fare attenzione a quanto velocemente la massa diminuisce nella coda sinistra!)

Impostare . Quindi Nota che e per positivo , sta diminuendo in . Ora, per , è facile vedere che . Questi fatti presi insieme implicano facilmente che per tutti e qualsiasi fisso . $f_b(a) = \Phi(a-b) + \Phi(-a-b)$

f_{b}^{'} (a) = φ (a - b) - φ (- a - b) = φ (a - b) - φ (a + b) .

$f'_b(a) = \varphi(a-b) - \varphi(-a-b) = \varphi(a-b) - \varphi(a+b) \>.$

f_{b}^{'} (0) = 0

$f'_b(0) = 0$

u

$u$

φ (u)

$\varphi(u)$

u

$u$

a \in (0, 2 b)

$a \in (0,2b)$

φ (a - b) \geq φ (- b) = φ (b)

$\varphi(a-b) \geq \varphi(-b) = \varphi(b)$

f_{B}^{'} (un') \geq 0

$f'_b(a) \geq 0$

a \geq 0

$a \geq 0$

b \geq 0

$b \geq 0$

Quindi, abbiamo dimostrato che per e , $a \geq 0$ $b \geq 0$

P (| Z + un' | > B) \geq P (| Z | > B) = 2 Φ (- B) .

$\Pr(|Z + a| > b) \geq \Pr(|Z| > b) = 2\Phi(-b) \>.$

Svelando tutto questo, se prendiamo , otteniamo che stabilisce il reclamo principale. $\theta = \sqrt{q_\alpha} \sigma$

P (X^{2} > q_{α} σ^{2}) \geq P (Z^{2} > q_{α}) = 1 - α,

$\Pr(X^2 > q_\alpha \sigma^2) \geq \Pr(Z^2 > q_\alpha) = 1 - \alpha \>,$

Osservazione di chiusura : un'attenta lettura dell'argomento precedente mostra che utilizza solo le proprietà simmetriche e unimodali della distribuzione normale. Quindi, l'approccio funziona in modo analogo per ottenere intervalli di confidenza da una singola osservazione da qualsiasi famiglia simmetrica di scala di posizione unimodale, ad esempio, distribuzioni di Cauchy o Laplace.

— cardinale
fonte

Wow! e gli studenti dovrebbero presentare questo tipo di argomento nel breve periodo di un esame olimpico?

— Dilip Sarwate,

@Dilip: non ne ho idea! Non ho familiarità con il formato di questa Olimpiade o con ciò che ci si aspetta in termini di soluzione. Da una lettura letterale, penso che la risposta di Scortchi sarebbe accettabile. Ero più interessato a cercare di capire fino a che punto si potesse arrivare con una soluzione "non banale". La mia esplorazione (abbastanza minimale) ha seguito lo stesso treno di pensieri descritto nella risposta (con una deviazione). È molto probabile che esista una soluzione migliore. :-)

— cardinale il

Questo è considerevolmente più lungo della soluzione "ufficiale", ma offre un migliore legame con la varianza, quindi la segnerò come risposta "corretta". Di seguito ho pubblicato la risposta "ufficiale", nonché alcuni risultati e discussioni sulla simulazione. Grazie @ cardinale!

— Jonathan Christensen,

@Jonathan: grazie. Sì, avrei potuto rendere la prova un po 'più concisa. A causa della vasta gamma di sfondi dei partecipanti qui, spesso tendo a indulgere in dettagli extra (o forse eccessivi). :-)

— cardinale il

Tempo di follow-up! Ecco la soluzione che mi è stata data:

Costruiremo un intervallo di confidenza nella forma , dove è una statistica. Per definizione questo sarà un intervallo di confidenza con un livello di confidenza almeno del 99% se Notiamo che la densità della distribuzione non supera . Pertanto, per ogni . Ne segue che Inserimento $[0,T(X))$ $T(\cdot)$
$(\forall μ \in R) (\forall σ > 0) P_{μ, σ_{2}} (σ^{2} > T (X)) < 0.01.$ $(\forall \mu \in \mathbb R )(\forall \sigma > 0)\; \mathbb P_{\mu,\sigma_2}(\sigma^2 > T(X)) < 0.01.$ $\mathcal{N}(\mu,\sigma^2)$ $1/\sigma\sqrt{2\pi}$ $\mathbb{P}(|X| \leq a) \leq a/\sigma$ $a \geq 0$ $t \geq P (| X | / σ \leq t) = P (X^{2} \leq t^{2} σ^{2}) = P (σ^{2} \geq X^{2} / t^{2}) .$ $t \geq \mathbb P (|X|/\sigma \leq t) = \mathbb P (X^2 \leq t^2\sigma^2) = \mathbb P (\sigma^2 \geq X^2/t^2).$ $t = 0.01$ otteniamo che la statistica appropriata sia $T(X) = 10000X^2.$

L'intervallo di confidenza (che è molto ampio) è leggermente conservativo nella simulazione, senza copertura empirica (in 100.000 simulazioni) inferiore al 99,15% mentre variavo il CV su molti ordini di grandezza.

Per fare un confronto, ho anche simulato l'intervallo di confidenza del cardinale. Dovrei notare che l'intervallo del cardinale è un po 'più stretto - nel caso del 99%, finisce per arrivare a circa , a differenza del nella soluzione fornita. La copertura empirica è proprio al livello nominale, sempre su molti ordini di grandezza per il CV. Quindi il suo intervallo vince sicuramente. $6300X^2$ $10000X^2$

Non ho avuto il tempo di esaminare attentamente il documento pubblicato da Max, ma ho intenzione di esaminarlo e potrei aggiungere alcuni commenti al riguardo in un secondo momento (vale a dire, non prima di una settimana). Quel documento afferma un intervallo di confidenza del 99% di , che ha una copertura empirica leggermente inferiore (circa il 98,85%) rispetto alla copertura nominale per CV di grandi dimensioni nelle mie brevi simulazioni. $(0,4900X^2)$

— Jonathan Christensen
fonte

(+1) Questa è una bella soluzione. Dovresti avere invece di nell'equazione di visualizzazione?

t \geq \dots

$t \geq \cdots$

t \leq \dots

$t \leq \cdots$

— cardinale il

Un altro paio di punti: la tua soluzione può essere fatta molto vicino alla mia senza alcun cambiamento nell'argomento. Nota che puoi affermare che . Quindi l'intervallo diventa per qualsiasi . Usando ottiene rispetto al nella mia risposta. Più alto è il livello di confidenza (ovvero, minore è il valore ), più il metodo si avvicina al mio (anche se l'intervallo sarà sempre più ampio).

P (| X | \leq a) \leq 2 a / σ \sqrt{2 π}

$\mathbb P(|X| \leq a) \leq 2 a / \sigma \sqrt{2\pi}$

(0, 2 X^{2} / π α^{2})

$(0,2X^2/\pi\alpha^2)$

α

$\alpha$

α = 0.01

$\alpha = 0.01$

T (X) \approx 6366.198 X^{2}

$T(X) \approx 6366.198 X^2$

1 / q_{0.01} \approx 6365.864

$1/q_{0.01} \approx 6365.864$

α

$\alpha$

— cardinale il

In secondo luogo, non ho esaminato quel documento, ma dubito fortemente che possa essere un intervallo di confidenza valido del 99%. In effetti, considera tutti gli intervalli di confidenza del modulo per alcuni . Quindi, quando , abbiamo che è esattamente chi-quadrato con un grado di libertà e quindi il più piccolo che potremmo selezionare in questa istanza è . In altre parole, l'intervallo indicato nella mia risposta è il più stretto possibile della forma dichiarata.

(0, 4900 X^{2})

$(0,4900 X^2)$

(0, b X^{2})

$(0, b X^2)$

b

$b$

μ = 0

$\mu = 0$

X^{2} / σ^{2}

$X^2/\sigma^2$

b

$b$

b = 1 / q_{α}

$b = 1/q_{\alpha}$

— cardinale il

Ho fatto la correzione (sospetta) dell'errore di battitura. Inoltre, pchisq(1/4900,1,lower.tail=F)nelle Rdichiarazioni 0.9886, abbastanza vicino ai vostri risultati della simulazione per la dell'intervallo.

(0, 4900 X^{2})

$(0,4900X^2)$

— cardinale il

Grazie per tutti i commenti, @cardinal. Penso che la tua modifica sia corretta, anche se l'ho digitata così com'era nelle soluzioni originali.

— Jonathan Christensen,

L'IC presumibilmente. $(0,\infty)$

— Scortchi - Ripristina Monica
fonte

Penso che sarebbe utile per te dire perché non puoi ottenere un intervallo di confidenza di lunghezza finita.

— assunto normale il

@Max Non sono abbastanza intelligente, ma la domanda non ha posto una domanda.

— Scortchi - Ripristina Monica

+1 per questo. La domanda non ha detto che un elemento della configurazione ha una copertura minima e, di fatto, implica che ciò potrebbe essere accettabile attraverso la sua formulazione curiosa ", un intervallo di confidenza con un livello di confidenza di almeno il 99%".

— Ari B. Friedman,