Perché è utile la Jeffreys?

Capisco che il precedente di Jeffreys è invariante sotto la parametrizzazione. Tuttavia, ciò che non capisco è il motivo per cui questa proprietà è desiderata.

Perché non vorresti che il precedente cambiasse sotto un cambio di variabili?

Vorrei completare la risposta di Zen. Non mi piace molto l'idea di "rappresentare l'ignoranza". L'importante non è il Jeffreys precedente, ma il Jeffreys posteriore . Questo posteriore mira a riflettere nel miglior modo possibile le informazioni sui parametri apportati dai dati. La proprietà di invarianza è naturalmente richiesta per i due punti seguenti. Si consideri ad esempio il modello binomiale con parametro di proporzione sconosciuto e parametro di quota ψ = $\theta$ .$\psi=\frac{\theta}{1-\theta}$

1. La parte posteriore di Jeffreys su riflette nel miglior modo possibile le informazioni su θ fornite dai dati. Esiste una corrispondenza uno a uno tra θ e ψ . Quindi, trasformando il Jeffreys posteriore su θ in posteriore su ψ (tramite la solita formula del cambio di variabili) dovrebbe produrre una distribuzione che rifletta al meglio le informazioni su ψ . Quindi questa distribuzione dovrebbe essere la parte posteriore di Jeffreys su ψ . Questa è la proprietà dell'invarianza.$\theta$$\theta$$\theta$$\psi$$\theta$$\psi$$\psi$$\psi$

2. Un punto importante nel trarre conclusioni da un'analisi statistica è la comunicazione scientifica . Immagina di dare il Jeffreys posteriore a un collega scientifico. Ma lui / lei è interessato a ψ piuttosto che θ . Quindi questo non è un problema con la proprietà di invarianza: deve solo applicare la formula di cambio delle variabili.$\theta$$\psi$$\theta$

Supponiamo che tu e un amico stiate analizzando lo stesso set di dati usando un modello normale. Adotti la solita parametrizzazione del modello normale usando la media e la varianza come parametri, ma il tuo amico preferisce parametrizzare il modello normale con il coefficiente di variazione e la precisione come parametri (che è perfettamente "legale"). Se entrambi usate i priori di Jeffreys, la vostra distribuzione posteriore sarà la distribuzione posteriore del vostro amico trasformata correttamente dalla sua parametrizzazione alla vostra. È in questo senso che il priore dei Jeffreys è "invariante"

(A proposito, "invariante" è una parola orribile; ciò che intendiamo veramente è che è "covariante" nello stesso senso di calcolo tensoriale / geometria differenziale, ma, naturalmente, questo termine ha già un significato probabilistico ben definito, quindi non possiamo usarlo.)

Perché si desidera questa proprietà di coerenza? Perché, se il priore di Jeffreys ha qualche possibilità di rappresentare l'ignoranza sul valore dei parametri in un senso assoluto (in realtà, non lo è, ma per altri motivi non correlati all '"invarianza"), e non l'ignoranza relativamente a una particolare parametrizzazione del modello, deve essere il caso che, indipendentemente dalle parametrizzazioni che arbitrariamente scegliamo di iniziare, i nostri posteriori dovrebbero "abbinarsi" dopo la trasformazione.

Lo stesso Jeffreys ha violato questa proprietà di "invarianza" regolarmente durante la costruzione dei suoi priori.

Questo documento ha alcune interessanti discussioni su questo e argomenti correlati.

Per aggiungere alcune citazioni alla grande risposta dello Zen: Secondo Jaynes, il precedente di Jeffreys è un esempio del principio dei gruppi di trasformazione, che deriva dal principio di indifferenza:

$A_1$$A_2$$p_1=p_2$$(1, 2)$ potremmo quindi generare un nuovo problema in cui il nostro stato di conoscenza è lo stesso ma in cui stiamo assegnando diverse probabilità ...

Ora, per rispondere alla tua domanda: "Perché non vuoi che il precedente cambi sotto un cambio di variabili?"

Secondo Jaynes, la parametrizzazione è un altro tipo di etichetta arbitraria e non si dovrebbe essere in grado di "generare un semplice scambio di etichette per generare un nuovo problema in cui il nostro stato di conoscenza è lo stesso ma in cui stiamo assegnando diverse probabilità. ”

Il priore di Jeffreys è inutile . Questo è perché:

1. Specifica solo la forma della distribuzione; non ti dice quali dovrebbero essere i suoi parametri.
2. Non sei mai completamente ignorante - c'è sempre qualcosa nel parametro che conosci (ad es. Spesso non può essere l'infinito). Usalo per la tua inferenza definendo una distribuzione precedente. Non mentire a te stesso dicendo che non sai nulla.
3. "Invarianza in trasformazione" non è una proprietà desiderabile. La tua probabilità cambia in trasformazione (ad es. Dal giacobino). Questo non crea "nuovi problemi", ritmo Jaynes. Perché il precedente non dovrebbe essere trattato allo stesso modo?

Basta non usarlo.