Ho dedicato molto tempo allo sviluppo di metodi e software per la validazione di modelli predittivi nel tradizionale dominio statistico frequentista. Nel mettere in pratica più idee bayesiane e nell'insegnamento vedo alcune differenze chiave da abbracciare. In primo luogo, la modellazione predittiva bayesiana chiede all'analista di riflettere attentamente sulle distribuzioni precedenti che possono essere personalizzate in base alle caratteristiche del candidato, e questi priori tireranno il modello verso di loro (cioè, raggiungeranno il restringimento / la penalizzazione / la regolarizzazione con diverse quantità di penalizzazione per le diverse caratteristiche predittive ). In secondo luogo, il modo "reale" bayesiano non risulta in un singolo modello ma si ottiene un'intera distribuzione posteriore per una previsione.
Con queste caratteristiche bayesiane in mente, cosa significa overfitting? Dovremmo valutarlo? Se é cosi, come? Come facciamo a sapere quando un modello bayesiano è affidabile per l'uso sul campo? O è un punto controverso dal momento che il posteriore trasporterà tutte le incertezze di cautela quando usiamo il modello che abbiamo sviluppato per la previsione?
Come cambierebbe il pensiero se forzassimo il modello bayesiano ad essere distillato su un singolo numero, ad esempio, media / modalità / rischio mediano posteriori?
Vedo alcuni pensieri correlati qui . Una discussione parallela può essere trovata qui .
Domanda di follow-up :: Se siamo completamente bayesiani e passiamo un po 'di tempo a pensare ai priori prima di vedere i dati e adattiamo un modello in cui la probabilità dei dati è stata specificata in modo appropriato, siamo costretti a essere soddisfatti del nostro modello per quanto riguarda il sovrautilizzo ? Oppure dobbiamo fare ciò che facciamo nel mondo frequentista in cui un soggetto scelto a caso può essere previsto in media bene, ma se scegliamo un soggetto con una previsione molto bassa o uno con un valore previsto molto elevato ci sarà una regressione nel mezzo?