modelli bayesiani gerarchici vs. bayes empirici

Considereresti l'HBM contro l'EB come due alternative in cui gli iperparametri sono "in gioco" per essere campionati / stimati / ecc.? Esiste chiaramente una connessione tra questi due.

Considereresti HBM più "completamente bayesiano" di EB? C'è un posto in cui posso vedere quali sono le differenze tra l'essere "completamente bayesiano" e le altre alternative?

Grazie.

Direi che HBM è certamente "più bayesiano" di EB, poiché l'emarginazione è un approccio più bayesiano che l'ottimizzazione. In sostanza, mi sembra che EB ignori l'incertezza negli iperparametri, mentre HBM tenta di includerla nell'analisi. Ho il sospetto che HMB sia una buona idea in cui ci sono pochi dati e quindi una significativa incertezza negli iperparametri, che devono essere presi in considerazione. D'altra parte, per set di dati di grandi dimensioni EB diventa più attraente in quanto è generalmente meno computazionalmente costoso e il volume dei dati spesso significa che i risultati sono molto meno sensibili alle impostazioni dell'iperparametro.

Ho lavorato su classificatori di processo gaussiani e abbastanza spesso ottimizzando gli iperparametri per massimizzare i risultati di probabilità marginale nel sovra-adattamento del ML e quindi un degrado significativo nelle prestazioni di generalizzazione. Sospetto in questi casi, un trattamento completo per la HBM sarebbe più affidabile, ma anche molto più costoso.