Quando (e perché) i bayesiani rifiutano validi metodi bayesiani? [chiuso]

Da quello che ho letto e dalle risposte ad altre domande che ho posto qui, molti cosiddetti metodi frequentisti corrispondono matematicamente ( non mi importa se corrispondono filosoficamente , mi importa solo se corrisponde matematicamente) a casi speciali del cosiddetto Metodi bayesiani (per coloro che si oppongono a questo, vedere la nota in fondo a questa domanda). Questa risposta a una domanda correlata (non la mia) supporta questa conclusione:

I metodi più frequenti hanno un equivalente bayesiano che nella maggior parte dei casi darà essenzialmente lo stesso risultato.

Si noti che in quanto segue, essere matematicamente lo stesso significa dare lo stesso risultato. Se caratterizzi due metodi che possono essere dimostrati per dare sempre gli stessi risultati di "diversi", questo è il tuo diritto, ma quello è un giudizio filosofico, non matematico né pratico.

Molte persone che si autodescrivono come "bayesiani", tuttavia, sembrano rifiutare di utilizzare la stima della massima verosimiglianza in qualsiasi circostanza, anche se si tratta di un caso speciale di metodi ( matematicamente ) bayesiani, poiché si tratta di un "metodo frequentista". Apparentemente i bayesiani usano anche un numero limitato / limitato di distribuzioni rispetto ai frequentisti, anche se tali distribuzioni sarebbero anche matematicamente corrette dal punto di vista bayesiano.

Domanda: quando e perché i bayesiani rifiutano metodi matematicamente corretti dal punto di vista bayesiano? C'è qualche giustificazione per questo che non è "filosofica"?

Background / Contesto: Di seguito sono citazioni da risposte e commenti a una mia precedente domanda su CrossValidated :

La base matematica per il dibattito bayesiano vs frequentista è molto semplice. Nelle statistiche bayesiane il parametro sconosciuto è trattato come una variabile casuale; nelle statistiche frequentiste viene trattato come un elemento fisso ...

Da quanto sopra avrei concluso che i metodi bayesiani ( matematicamente parlando ) sono più generali di quelli frequentisti, nel senso che i modelli frequentisti soddisfano tutti gli stessi presupposti matematici di quelli bayesiani, ma non viceversa. Tuttavia, la stessa risposta ha sostenuto che la mia conclusione da quanto precede era errata (l'enfasi in ciò che segue è la mia):

Sebbene la costante sia un caso speciale di una variabile casuale, esiterei a concludere che il bayesianismo è più generale. Non otterresti risultati frequentatori da quelli bayesiani semplicemente comprimendo la variabile casuale in una costante. La differenza è più profonda ...

Andando alle preferenze personali ... Non mi piace che le statistiche bayesiane utilizzino un sottoinsieme limitato di distribuzioni disponibili.

Un altro utente, nella loro risposta, ha affermato il contrario, secondo cui i metodi bayesiani sono più generali, anche se stranamente il motivo migliore per cui ho potuto scoprire perché questo potrebbe essere il caso era nella risposta precedente, data da qualcuno addestrato come frequentatore.

La conseguenza matematica è che i frequentisti pensano che le equazioni di base della probabilità si applichino solo a volte, e i bayesiani pensano che si applichino sempre. Quindi vedono le stesse equazioni come corrette, ma differiscono da quanto sono generali ... Bayesian è strettamente più generale di Frequentist. Poiché può esserci incertezza su qualsiasi fatto, a qualsiasi fatto può essere assegnata una probabilità. In particolare, se i fatti su cui stai lavorando sono correlati alle frequenze del mondo reale (sia come qualcosa che stai predicendo o parte dei dati), i metodi bayesiani possono considerarli e usarli proprio come farebbero con qualsiasi altro fatto del mondo reale. Di conseguenza, qualsiasi problema che i frequentatori ritengono che i loro metodi si applichino ai bayesiani possono anche lavorare naturalmente.

Dalle risposte di cui sopra, ho l'impressione che ci siano almeno due diverse definizioni del termine bayesiano comunemente in uso. Il primo che chiamerei "matematicamente bayesiano" che comprende tutti i metodi di statistica, poiché include parametri che sono camper costanti e quelli che non sono camper costanti. Poi c'è "culturalmente bayesiano" che rifiuta alcuni metodi "matematicamente bayesiani" perché tali metodi sono "frequentisti" (cioè per animosità personale rispetto al parametro che talvolta viene modellato come costante o frequenza). Un'altra risposta alla domanda di cui sopra sembra supportare anche questa congettura:

È anche da notare che ci sono molte divisioni tra i modelli utilizzati dai due campi che è più correlato a ciò che è stato fatto rispetto a ciò che può essere fatto (vale a dire che molti modelli che sono tradizionalmente utilizzati da un campo possono essere giustificati dall'altro campo ).

Quindi immagino che un altro modo di esprimere la mia domanda sarebbe il seguente: Perché i bayesiani culturali si definiscono bayesiani se rifiutano molti metodi matematicamente bayesiani? E perché rifiutano questi metodi matematicamente bayesiani? È l'animosità personale per le persone che usano più spesso quei metodi particolari?

$i$forniscono gli stessi valori per la stima, sono matematicamente equivalenti, perché hanno le stesse proprietà . Forse la differenza filosofica è rilevante per te personalmente, ma non è rilevante per questa domanda.

Nota: questa domanda originariamente presentava una caratterizzazione errata della stima MLE e della stima MAP con un precedente uniforme.

Vorrei correggere un'ipotesi errata nel post originale, un errore che è relativamente comune. L'OP afferma:

Da quello che ho letto e dalle risposte ad altre domande che ho posto qui, la stima della massima verosimiglianza corrisponde matematicamente (non mi importa se corrisponde filosoficamente, mi interessa solo se corrisponde matematicamente) alla stima a priori massima usando un precedente uniforme ( per coloro che si oppongono a questo, vedere la nota in fondo a questa domanda).

E la nota in fondo al post dice:

Due oggetti sono equivalenti in senso matematico se hanno le stesse proprietà, indipendentemente da come sono costruiti. [...]

La mia obiezione è che, a parte la filosofia, la stima della massima verosimiglianza (MLE) e la stima massima a posteriori (MAP) non hanno le stesse proprietà matematiche.

Fondamentalmente, MLE e MAP si trasformano in modo diverso in una riparametrizzazione (non lineare) dello spazio. Ciò accade perché MLE ha un "precedente piatto" in ogni parametrizzazione, mentre MAP non lo fa (il precedente si trasforma in densità di probabilità , quindi esiste un termine giacobino).

La definizione di un oggetto matematico include il comportamento dell'oggetto sotto operatori come la trasformazione di variabili (ad es. Vedere la definizione di un tensore ).

In conclusione, MLE e MAP non sono la stessa cosa, né filosoficamente né matematicamente; questa non è un'opinione.

Personalmente sono un "pragmatico" piuttosto che un "frequentatore" o un "bayesiano", quindi non posso pretendere di parlare per nessun campo.

Detto questo, penso che la distinzione a cui stai alludendo probabilmente non è tanto MLE vs. MAP, ma tra stime puntuali e stima di PDF posteriori . Come scienziato che lavora in un campo con dati scarsi e grandi incertezze, posso provare simpatia per non voler dare troppa fiducia ai risultati della "migliore ipotesi" che possono essere fuorvianti, con conseguente eccessiva fiducia.

Una distinzione pratica correlata è tra metodi parametrici e non parametrici . Quindi, ad esempio, penso che sia il filtro di Kalman sia il filtro di particelle sarebbero accettati come stima bayesiana ricorsiva . Ma l'assunzione gaussiana del filtraggio di Kalman (un metodo parametrico) può dare risultati molto fuorvianti se il posteriore non è unimodale. Per me questo tipo di esempi di ingegneria evidenzia dove le differenze non sono né filosofiche né matematiche, ma si manifestano in termini di risultati pratici (cioè il tuo veicolo autonomo si schianterà?). Per gli appassionati bayesiani con cui ho familiarità, questo atteggiamento "vedi cosa funziona" sembra essere predominante ... non sono sicuro che ciò sia vero in senso lato.

Molte persone che si autodescrivono come "bayesiani", tuttavia, sembrano rifiutare di utilizzare la stima della massima verosimiglianza in qualsiasi circostanza, anche se si tratta di un caso speciale di metodi (matematicamente) bayesiani, poiché si tratta di un "metodo frequentista".

Queste persone rifiuterebbero l'MLE come metodo generale per fare stime puntuali. In casi particolari in cui avevano motivo di utilizzare un precedente uniforme e volevano fare una stima massima a posteriori, non sarebbero stati affatto disturbati dalla coincidenza dei loro calcoli con MLE.

Apparentemente i bayesiani usano anche un numero limitato / limitato di distribuzioni rispetto ai frequentisti, anche se tali distribuzioni sarebbero anche matematicamente corrette dal punto di vista bayesiano.

Forse a volte, per facilitare i loro calcoli, ma non da nessun punto di principio.

Ho l'impressione che ci siano almeno due diverse definizioni del termine bayesiano comunemente in uso. Il primo che chiamerei "matematicamente bayesiano" che comprende tutti i metodi di statistica, poiché include parametri che sono camper costanti e quelli che non sono camper costanti. Poi c'è "culturalmente bayesiano" che rifiuta alcuni metodi "matematicamente bayesiani" perché tali metodi sono "frequentisti" (cioè per animosità personale rispetto al parametro che talvolta viene modellato come costante o frequenza).

Vi sono certamente delle distinzioni da fare tra i diversi approcci all'inferenza bayesiana, ma non questo. Se c'è un senso in cui il bayesianismo è più generale, è nella volontà di applicare il concetto di probabilità all'incertezza epistemica sui valori dei parametri e non solo all'incertezza aleatoria del processo di generazione dei dati che è tutto ciò che interessa il frequentismo. L'inferenza frequentista non è un caso speciale di inferenza bayesiana e nessuna delle risposte o dei commenti su Esistono basi matematiche per il dibattito bayesiano vs frequentista?stanno insinuando che lo sia. Se in un approccio bayesiano dovessi considerare il parametro una variabile casuale costante, otterresti lo stesso posteriore qualunque siano i dati— e dire che è costante ma non sai quale valore abbia non sarebbe dire vale la pena dire. L'approccio frequentista assume un approccio completamente diverso e non prevede affatto il calcolo delle distribuzioni posteriori.