Stima del parametro di una distribuzione uniforme: prima impropria?

Abbiamo N campioni, , da una distribuzione uniforme dove è sconosciuta. Stimare dai dati. $X_i$ $[0,\theta]$ $\theta$ $\theta$

Quindi, la regola di Bayes ...

$f(\theta | {X_i}) = \frac{f({X_i}|\theta)f(\theta)}{f({X_i})}$

e la probabilità è:

$f({X_i}|\theta) = \prod_{i=1}^N \frac{1}{\theta}$ (modifica: quando $0 \le X_i \le \theta$ per tutti $i$ , e 0 altrimenti - grazie whuber)

ma senza altre informazioni su $\theta$ , sembra che il precedente debba essere proporzionale a $1$ (cioè uniforme) o a $\frac{1}{L}$ (Jeffreys precedenti?) su $[0,\infty]$ ma poi i miei integrali don convergono, e non sono sicuro di come procedere. Qualche idea?

— Volere
fonte

La tua probabilità non è corretta: sarà zero ogni volta che è inferiore alla più grande .

θ

$\theta$

X_{i}

$X_i$

— whuber

Puoi mostrare quali integrali stai assumendo?

Sì, quindi, credo di non sapere come gestire il precedente improprio. Ad esempio, voglio scrivere

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

— Will

Per il precedente improprio, = = e per la precedente si ottiene allo stesso modoPoiché quasi sicuramente, è certo che gli integrali convergeranno.

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

\int_{max (X_{i})}^{\infty} θ^{- N} d θ

$\int_{\max(X_i)}^\infty \theta^{-N}d\theta$

max (X_{i})^{1 - N} / (N - 1)

$\max(X_i)^{1-N}/(N-1)$

f (θ) \propto 1 / θ

$f(\theta)\propto 1/\theta$

max (X_{i})^{- N} / N .

$\max(X_i)^{-N}/N.$

max X_{i} > 0

$\max{X_i}\gt 0$

— whuber

Il posteriore di riferimento del Bernardo è Pareto - vedere il catalogo dei priori non informativi .

— Stéphane Laurent,

Risposte:

Ciò ha generato un dibattito interessante, ma nota che in realtà non fa molta differenza per la questione di interesse. Personalmente penso che poiché è un parametro di scala, l'argomento del gruppo di trasformazione è appropriato, portando a un precedente di $\theta$

\begin{matrix} p (θ | I) = \frac{θ^{- 1}}{\log (\frac{U}{L})} \propto θ^{- 1} & L < θ < U \end{matrix}

$\begin{array}& p(\theta|I)=\frac{\theta^{-1}}{\log\left(\frac{U}{L}\right)}\propto\theta^{-1} & L<\theta<U\end{array}$

Questa distribuzione ha la stessa forma nel riscalare il problema (la probabilità rimane "invariante" anche nel riscalare). Il kernel di questo precedente, può essere derivato risolvendo l'equazione funzionale . I valori dipendono dal problema e contano davvero solo se la dimensione del campione è molto piccola (come 1 o 2). Il posteriore è un pareto troncato, dato da: $f(y)=y^{-1}$ $af(ay)=f(y)$ $L,U$

\begin{matrix} p (θ | D I) = \frac{N θ^{- N - 1}}{(L^{*})^{- N} - U^{- N}} & L^{*} < θ < U & where & L^{*} = m a x (L, X_{(N)}) \end{matrix}

$\begin{array}\\ p(\theta|DI)=\frac{N\theta^{-N-1}}{ (L^{*})^{-N}-U^{-N}} & L^{*}<\theta<U & \text{where} & L^{*}=max(L,X_{(N)}) \end{array}$ Dove è l'ennesimo statistica dell'ordine o il valore massimo del campione. Otteniamo la media posteriore di Se noi impostare e otteniamo la più semplice eliminazione .

X_{(N)}

$X_{(N)}$

E (θ | D I) = \frac{N ((L^{*})^{1 - N} - U^{1 - N})}{(N - 1) ((L^{*})^{- N} - U^{- N})} = \frac{N}{N - 1} L^{*} (\frac{1 - {[\frac{L^{*}}{U}]}^{N - 1}}{1 - {[\frac{L^{*}}{U}]}^{N}})

$E(\theta|DI)= \frac{ N((L^{*})^{1-N}-U^{1-N}) }{ (N-1)((L^{*})^{-N}-U^{-N}) }=\frac{N}{N-1}L^{*}\left(\frac{ 1-\left[\frac{L^{*}}{U}\right]^{N-1} }{ 1-\left[\frac{L^{*}}{U}\right]^{N} }\right)$

U \to \infty

$U\to\infty$

L \to 0

$L\to 0$

E (θ | D I) = \frac{N}{N - 1} X_{(N)}

$E(\theta|DI)=\frac{N}{N-1}X_{(N)}$

Ma ora supponiamo di usare un precedente più generale, dato da (nota che manteniamo i limiti per assicurarci che tutto sia corretto - nessuna matematica singolare quindi ). Il posteriore è quindi lo stesso di sopra, ma con sostituito da - a condizione che . Ripetendo i calcoli di cui sopra, abbiamo la media posteriore semplificata di $p(\theta|cI)\propto\theta^{-c-1}$ $L,U$ $N$ $c+N$ $c+N\geq 0$

E (θ | D I) = \frac{N + c}{N + c - 1} X_{(N)}

$E(\theta|DI)=\frac{N+c}{N+c-1}X_{(N)}$

Quindi l'uniforme precedente ( ) fornirà una stima di condizione che (la media sia infinita per ). Ciò dimostra che il dibattito qui è un po 'come se usare o meno o come divisore nella stima della varianza. $c=-1$ $\frac{N-1}{N-2}X_{(N)}$ $N\geq 2$ $N=2$ $N$ $N-1$

Un argomento contro l'uso dell'uniforme impropria prima in questo caso è che il posteriore è improprio quando , poiché è proporzionale a . Ma questo importa solo se o è molto piccolo. $N=1$ $\theta^{-1}$ $N=1$

— probabilityislogic
fonte

Poiché lo scopo qui è presumibilmente quello di ottenere una stima valida e utile di , la distribuzione precedente dovrebbe essere coerente con le specifiche della distribuzione della popolazione da cui proviene il campione. Ciò NON significa in alcun modo che "calcoliamo" il precedente utilizzando il campione stesso, annullando la validità dell'intera procedura. Sappiamo che la popolazione da cui proviene il campione è una popolazione di variabili casuali iid uniformi che vanno ciascuna in . Questa è un'ipotesi mantenuta e fa parte delle informazioni precedenti che possediamo (e non ha nulla a che fare con il campione , cioè con una realizzazione specifica di un sottoinsieme di queste variabili casuali). $\theta$ $[0,\theta]$

Ora supponiamo che questa popolazione sia composta da variabili casuali (mentre il nostro campione è costituito da realizzazioni di variabili casuali). L'ipotesi mantenuta ci dice che $m$ $n<m$ $n$

max_{i = 1, . . ., n} {X_{i}} \leq max_{j = 1, . . ., m} {X_{j}} \leq θ

$\max_{i=1,...,n}\{X_i\}\le \max_{j=1,...,m}\{X_j\} \le \theta$

Indicare per compattezza . Quindi abbiamo che può anche essere scritto $\max_{i=1,...,n}\{X_i\} \equiv X^*$ $\theta \ge X^*$

θ = c X^{*} c \geq 1

$\theta = cX^*\qquad c\ge 1$

La funzione di densità di di iid Uniform rv che varia in è $\max$ $N$ $[0,\theta]$

f_{X^{*}} (x^{*}) = N \frac{(x^{*})^{N - 1}}{θ^{N}}

$f_{X^*}(x^*) = N\frac {(x^*)^{N-1}}{\theta^N}$

per il supporto , e lo zero altrove. Quindi usando e applicando la formula del cambio di variabile otteniamo una distribuzione precedente per che è coerente con l'assunto mantenuto: $[0,\theta]$ $\theta = cX^*$ $\theta$

f_{p} (θ) = N \frac{(\frac{θ}{c})^{N - 1}}{θ^{N}} \frac{1}{c} = \frac{N}{c^{N}} θ^{- 1} θ \in [x^{*}, \infty]

$f_p(\theta) = N\frac {(\frac{\theta}{c})^{N-1}}{\theta^N}\frac 1c = \frac {N}{c^N} \theta^{-1}\qquad \theta \in [x^*, \infty]$

che può essere improprio se non specifichiamo adeguatamente la costante . Ma il nostro interesse sta nell'avere un vero e proprio posteriore per , e inoltre, non vogliamo limitare i possibili valori di (oltre la restrizione implicita dall'assunto mantenuto). Quindi lasciamo indeterminato. Quindi scrivendo il posteriore è $c$ $\theta$ $\theta$ $c$
$\mathbf X = \{x_1,..,x_n\}$

f (θ ∣ X) \propto θ^{- N} \frac{N}{c^{N}} θ^{- 1} \Rightarrow f (θ ∣ X) = A \frac{N}{c^{N}} θ^{- (N + 1)}

$f(\theta \mid \mathbf X)\; \propto\; \theta^{-N}\frac {N}{c^N} \theta^{-1} \Rightarrow f(\theta \mid \mathbf X) = A\frac {N}{c^N} \theta^{-(N+1)}$

per qualche costante normalizzante A. Vogliamo

\int_{S_{θ}} f (θ ∣ X) d θ = 1 \Rightarrow \int_{x^{*}}^{\infty} A \frac{N}{c^{N}} θ^{- (N + 1)} d θ = 1

$\int_{S_{\theta}}f(\theta \mid \mathbf X)d\theta =1 \Rightarrow \int_{x^*}^{\infty}A\frac {N}{c^N} \theta^{-(N+1)}d\theta =1$

\Rightarrow A \frac{N}{c^{N}} \frac{1}{- N} θ^{- N} |_{x^{*}}^{\infty} = 1 \Rightarrow A = (c x^{*})^{N}

$\Rightarrow A\frac {N}{c^N}\frac {1}{-N}\theta^{-N}\Big |_{x^*}^{\infty} = 1 \Rightarrow A = (cx^*)^N$

Inserimento nella posteriore

f (θ ∣ X) = (c x^{*})^{N} \frac{N}{c^{N}} θ^{- (N + 1)} = N (x^{*})^{N} θ^{- (N + 1)}

$f(\theta \mid \mathbf X) = (cx^*)^N\frac {N}{c^N} \theta^{-(N+1)} = N(x^*)^N\theta^{-(N+1)}$

Si noti che la costante indeterminata della distribuzione precedente è stata annullata convenientemente. $c$

Il posteriore riassume tutte le informazioni che il campione specifico può darci riguardo al valore di . Se vogliamo ottenere un valore specifico per , possiamo facilmente calcolare il valore atteso del posteriore, $\theta$ $\theta$

E (θ ∣ X) = \int_{x^{*}}^{\infty} θ N (x^{*})^{N} θ^{- (N + 1)} d θ = - \frac{N}{N - 1} (x^{*})^{N} θ^{- N + 1} |_{x^{*}}^{\infty} = \frac{N}{N - 1} x^{*}

$E(\theta\mid \mathbf X) = \int_{x^*}^{\infty}\theta N(x^*)^N\theta^{-(N+1)}d\theta = -\frac{N}{N-1}(x^*)^N\theta^{-N+1}\Big |_{x^*}^{\infty} = \frac{N}{N-1}x^*$

C'è qualche intuizione in questo risultato? Bene, con l' aumentare del numero di , più è probabile che la massima realizzazione tra loro sia sempre più vicina al loro limite superiore, - che è esattamente ciò che riflette il valore medio posteriore di : se, diciamo , , ma se . Ciò dimostra che la nostra tattica relativa alla selezione del priore era ragionevole e coerente con il problema in questione, ma non necessariamente "ottimale" in un certo senso. $X$ $\theta$ $\theta$ $N=2 \Rightarrow E(\theta\mid \mathbf X) = 2x^*$ $N=10 \Rightarrow E(\theta\mid \mathbf X) = \frac{10}{9}x^*$

— Alecos Papadopoulos
fonte

Basare il precedente sui dati mi sembra sospetto. Come si giustifica questo approccio?

— whuber

Non ho nulla contro il fatto che il tuo precedente non sia "il migliore". Dove ho detto qualcosa del genere? Sto solo cercando di capire il tuo approccio. Non capisco ancora questa uguaglianza. Se è costante nell'uguaglianza , significa che sia che sono non casuali? A proposito, non usi il fatto che nella derivazione del precedente, vero? (cc @whuber)

c

$c$

θ = c X^{*}

$\theta=cX^*$

X^{*}

$X^*$

θ

$\theta$

c \geq 1

$c \geq 1$

— Stéphane Laurent,

E il supporto del tuo precedente dipende dai dati? ( )

θ \in [x^{*}, \infty [

$\theta \in [x^*, \infty[$

— Stéphane Laurent,

Un precedente che dipende (anche se solo attraverso il supporto) dai dati sembra sbagliato: non è possibile conoscere il massimo del campione prima che il campione sia stato generato . Inoltre, affermi che è un'uguaglianza quasi sicura, con e casuali (quindi esiste una correlazione ). Ma ciò implica che la distribuzione posteriore di (che è la distribuzione condizionale di dato il campione) è la massa di Dirac in . E questo contraddice la tua derivazione della distribuzione posteriore. ... (nessun personaggio rimasto ...)

θ = c X^{*}

$\theta = cX^*$

θ

$\theta$

X^{*}

$X^*$

1

$1$

θ

$\theta$

θ

$\theta$

c x^{*}

$cx^*$

— Stéphane Laurent,

La distribuzione posteriore di è Dirac in significa che è . Il teorema di Bayes non è la causa. Distruggi tutto assumendo . Ciò implica , quindi la distribuzione condizionale di dato è la massa di Dirac a , mentre l'assunto originale è che questa distribuzione è la distribuzione uniforme su .

θ

$\theta$

c x^{*}

$cx^*$

θ

$\theta$

c x^{*}

$cx^*$

θ = c X^{*}

$\theta = cX^*$

X^{*} = θ / c

$X^*=\theta/c$

X^{*}

$X^*$

θ

$\theta$

θ / c

$\theta/c$

(0, θ)

$(0,\theta)$

— Stéphane Laurent,

Teorema di distribuzione prioritaria uniforme (caso di intervallo):

"Se la totalità delle tue informazioni su esterne ai dati viene acquisita dalla singola proposizione quindi l'unica specifica possibile logicamente coerente internamente è $\theta$ $D$

B = {{Possible values for θ} = {the interval (a, b)}, a < b}

$B=\{\{\text{Possible values for } \theta\}=\{\text{the interval } (a,b)\},a<b\}$

f (θ) = Uniform (a, b)

$f(\theta)=\text{Uniform}(a,b)$

Pertanto, le specifiche precedenti devono corrispondere alle precedenti di Jeffrey se si crede veramente nel teorema di cui sopra. "

Non parte del teorema di distribuzione prioritaria uniforme:

In alternativa puoi specificare la tua distribuzione precedente come distribuzione di Pareto, che è la distribuzione coniugata per l'uniforme, sapendo che la tua distribuzione posteriore dovrà essere un'altra distribuzione uniforme per coniugazione. Tuttavia, se si utilizza la distribuzione di Pareto, sarà necessario specificare i parametri della distribuzione di Pareto in qualche modo. $f(\theta)$

Per prima cosa dici che la risposta "possibile solo logicamente coerente internamente" è una distribuzione uniforme e poi procedi a proporre un'alternativa. Mi sembra illogico e incoerente :-).

— whuber

Non posso essere d'accordo. Ad esempio, è anche l'insiemeQuando il PDF di è per . Ma secondo il "teorema", cui pdf è in quell'intervallo. In breve, sebbene la proposizione non dipenda da come il problema è parametrizzato, la conclusione del "teorema" dipende dalla parametrizzazione, da cui è ambigua.

B

$B$

{θ | θ^{3} \in (a^{3}, b^{3})} .

$\{\theta | \theta^3\in(a^3, b^3)\}.$

Θ \sim Uniform (a, b),

$\Theta\sim\text{Uniform}(a,b),$

Ψ = Θ^{3}

$\Psi=\Theta^3$

1 / (3 ψ^{2 / 3} (b - a))

$1/(3\psi^{2/3}(b-a))$

a^{3} < ψ < b^{3}

$a^3\lt \psi\lt b^3$

Ψ \sim Uniform (a^{3}, b^{3})

$\Psi\sim\text{Uniform}(a^3,b^3)$

1 / (b^{3} - a^{3})

$1/(b^3-a^3)$

— whuber

BabakP: Come si potrebbe dire che questo è un teorema ? Un teorema è un'affermazione matematica con una dimostrazione matematica. Questo "teorema" verrebbe più appropriatamente definito come un "principio", ma non è sensato perché contraddittorio, come mostrato da @whuber.

— Stéphane Laurent,

Grazie per il riferimento BabakP. Vorrei sottolineare che lo "schizzo di prova" è falso. Draper divide l'intervallo in un numero finito di valori equidistanti e "passa al limite". Chiunque può dividere l'intervallo in valori distanziati per approssimare la densità che preferisce e allo stesso modo passare al limite, producendo perfettamente arbitrarie "solo possibili specifiche precedenti coerenti logicamente-internamente". Questo tipo di cose - vale a dire, usare la cattiva matematica nel tentativo di dimostrare che i non bayesiani sono illogici - dà all'analisi bayesiana un nome (immeritatamente) cattivo. (cc @ Stéphane.)

— whuber

@ Stéphane Per favore, perdona la mia insensibilità ( insensibilità ) - Ammiro la tua abilità di interagire qui in una seconda lingua e non uso consapevolmente termini oscuri! Bogus è un aggettivo che deriva da un termine gergale americano di 200 anni che si riferisce a una macchina per la contraffazione di denaro. In questo caso è una macchina matematica per teoremi di contraffazione :-).

— whuber