Vantaggi della famiglia esponenziale: perché dovremmo studiarla e usarla?

Quindi qui sto studiando inferenza. Vorrei che qualcuno potesse elencare i vantaggi della famiglia esponenziale. Per famiglia esponenziale, intendo le distribuzioni che sono date come

\begin{aligned} f (x | θ) = h (x) \exp {η (θ) T (x) - B (θ)} \end{aligned}

$\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*}$

il cui supporto non dipende dal parametro $\theta$ . Ecco alcuni vantaggi che ho scoperto:

(a) Incorpora un'ampia varietà di distribuzioni.

(b) Offre una statistica naturale sufficiente $T(x)$ secondo il teorema di Neyman-Fisher.

(d) Rende facile separare la relazione tra la risposta e il predittore dalla distribuzione condizionale della risposta (tramite le funzioni di collegamento).

Qualcuno può fornire qualche altro vantaggio?

self-study exponential-family

— user1337
fonte

per garantire la generalità delle risposte: esistono dei PDF utili che non appartengono alla famiglia esponenziale?

— Meduz,

Risposte:

... perché dovremmo studiarlo e usarlo?

Penso che il tuo elenco di vantaggi risponda efficacemente alla tua domanda, ma lasciami offrire alcuni commenti meta-matematici che potrebbero chiarire questo argomento. In generale, ai matematici piace generalizzare concetti e risultati fino al punto massimo che possono, fino ai limiti della loro utilità. Cioè, quando i matematici sviluppano un concetto e scoprono che uno o più teoremi utili si applicano a quel concetto, generalmente cercheranno di generalizzare sempre più il concetto e i risultati, fino a quando non giungeranno al punto in cui un'ulteriore generalizzazione renderebbe inapplicabili i risultati o non più utile. Come si può vedere dal tuo elenco, la famiglia esponenziale ha un certo numero di teoremi utili collegati e comprende una vasta classe di distribuzioni. Questo è sufficiente per renderlo un degno oggetto di studio e una utile classe matematica in pratica.

Qualcuno può fornire qualche altro vantaggio?

Questa classe ha varie buone proprietà nell'analisi bayesiana. In particolare, le distribuzioni familiari esponenziali hanno sempre priori coniugati e la conseguente distribuzione predittiva posteriore ha una forma semplice. Questo rende una classe estremamente utile di distribuzioni nelle statistiche bayesiane. In effetti, ti permette di intraprendere analisi bayesiane usando priori coniugati ad un livello estremamente elevato di generalità, che comprende tutte le famiglie distributive nella famiglia esponenziale.

— Ripristina Monica
fonte

Secondo la nomina di "coniugato precedente" come motivo per amare la famiglia esponenziale. In effetti, i coniugati priori e le statistiche sufficienti giocano molto bene insieme, quindi insieme sarebbero in cima alla mia lista di ragioni per usare la famiglia esponenziale.

— Peter Leopold

Ah! Un collega bayesiano che vedo!

— Ripristina Monica il

Come fai a sapere che il predittivo posteriore ha una forma semplice? Ad esempio, il predittivo posteriore di un modello normale con media e varianza sconosciute è T. dello studente non centrato e in scala È una forma semplice?

— Neil G

@Neil G: con i dati IID di una famiglia esponenziale e un coniugato precedente, la distribuzione predittiva è un rapporto di due istanze della funzione normalizzante per il precedente, in cui gli argomenti del denominatore vengono aggiornati aggiungendo la statistica e il numero di osservazioni sufficienti per i nuovi dati. Questa è una forma semplice e generale per la distribuzione predittiva, che si ottiene trovando il fattore di normalizzazione per il congugato precedente (vedere ad esempio la sezione 9.0.5 di queste note ).

— Ripristina Monica il

Okay vedo. Non l'ho mai visto prima, grazie.

— Neil G

Direi che la motivazione più convincente per le famiglie esponenziali è che si tratta di misurazioni minime della distribuzione ipotetica . Se hai un sensore a valore reale le cui misure sono riassunte in media e varianza, allora il minimo presupposto che puoi fare riguardo alle sue osservazioni è che sono normalmente distribuiti. Ogni famiglia esponenziale è il risultato di un insieme simile di ipotesi.

Jaynes sostiene questo principio di massima entropia:

“La distribuzione della massima entropia può essere affermata per il motivo positivo che è determinata in modo univoco come quella che è al massimo non impegnativa rispetto alle informazioni mancanti, invece di quella negativa che non vi era motivo di pensare diversamente. Quindi il concetto di entropia fornisce il criterio mancante di scelta ... "

— Neil G
fonte