Un bayesiano ammetterebbe che esiste un valore di parametro fisso?

Nell'analisi dei dati bayesiani, i parametri sono trattati come variabili casuali. Ciò deriva dalla concettualizzazione soggettiva bayesiana della probabilità. Ma i bayesiani riconoscono teoricamente che esiste un vero valore di parametro fisso nel "mondo reale?"

Sembra che la risposta ovvia sia "sì", perché tentare di stimare il parametro sarebbe quasi privo di senso. Una citazione accademica per questa risposta sarebbe molto apprezzata.

IMHO "si"! Ecco una delle mie citazioni preferite di Groenlandia (2006: 767):

Si dice spesso (erroneamente) che "i parametri sono trattati come fissati dal frequentista ma come casuali dal bayesiano". Sia per i frequentatori che per i bayesiani, il valore di un parametro potrebbe essere stato fissato dall'inizio o potrebbe essere stato generato da un meccanismo fisicamente casuale. In entrambi i casi, entrambi suppongono che abbia assunto un valore fisso che vorremmo sapere. Il bayesiano usa modelli di probabilità formali per esprimere l'incertezza personale su quel valore. La "casualità" in questi modelli rappresenta l'incertezza personale sul valore del parametro; non è una proprietà del parametro (sebbene dovremmo sperare che rifletta accuratamente le proprietà dei meccanismi che hanno prodotto il parametro).

Groenlandia, S. (2006). Prospettive bayesiane per la ricerca epidemiologica: I. Fondamenti e metodi di base. International Journal of Epidemiology , 35 (3), 765–774.

La concezione bayesiana di una probabilità non è necessariamente soggettiva (cfr. Jaynes). La distinzione importante qui è che il bayesiano tenta di determinare il proprio stato di conoscenza riguardo al valore del parametro combinando una distribuzione precedente per il suo valore plausibile con la probabilità che sintetizzi le informazioni contenute in alcune osservazioni. Quindi, come bayesiano, direi che sono contento dell'idea che il parametro abbia un valore vero, che non è noto esattamente, e lo scopo di una distribuzione posteriore è di riassumere ciò che so sui suoi valori plausibili, basato sui miei presupposti precedenti e le osservazioni.

Ora, quando faccio un modello, il modello non è la realtà. Quindi in alcuni casi il parametro in questione esiste nella realtà (ad es. Il peso medio di un vombato) e in alcune domande non lo è (ad es. Il vero valore di un parametro di regressione - il modello di regressione è solo un modello del risultato di le leggi fisiche che governano il sistema, che potrebbero non essere effettivamente catturate completamente dal modello di regressione). Quindi, dire che esiste un vero valore di parametro fisso nel mondo reale non è necessariamente vero.

Il rovescio della medaglia, suggerirei che la maggior parte dei frequentisti direbbe che esiste un vero valore per la statistica, ma non sanno nemmeno cosa sia, ma hanno degli stimatori e intervalli di confidenza nelle loro stime che (in un certo senso ) quantifica la loro incertezza riguardo alla plausibilità di valori diversi (ma la concezione frequente di una probabilità impedisce loro di esprimerlo direttamente).

Al punto principale, in Bayesian Data Analysis (3rd ed., 93), Gelman scrive anche

Dal punto di vista dell'analisi dei dati bayesiani, possiamo spesso interpretare le stime dei punti classici come sommari posteriori esatti o approssimativi basati su un modello implicito di piena probabilità. Nel limite di grandi dimensioni del campione, infatti, possiamo usare la teoria asintotica per costruire una giustificazione teorica bayesiana per l'inferenza della massima verosimiglianza classica.

Quindi forse non sono i bayesiani che dovrebbero "ammettere" che ci sono, in verità, singoli valori di parametri reali, ma i frequentatori che dovrebbero fare appello alle statistiche bayesiane per giustificare le loro procedure di stima! (Lo dico con la lingua saldamente nella guancia.)

$\Pr(\theta|y)$

Ma l'idea che ci siano singoli parametri in natura o nei sistemi sociali è solo un'ipotesi semplificativa. Potrebbe esserci un processo elaborato che genera risultati osservabili, ma scoprire che il sistema è incredibilmente complicato; supponendo che ci sia un singolo valore di parametro fisso semplifica notevolmente il problema. Penso che questo tagli al centro della tua domanda: i bayesiani non dovrebbero "ammettere" di fare questa semplificazione più di quanto non dovrebbero fare i frequentisti.

Pensi che esista un unico "vero parametro fisso" per qualcosa come il contributo del bere latte alla crescita di un bambino? O per la riduzione delle dimensioni di un tumore in base alla quantità di sostanza chimica X iniettata nel corpo di un paziente? Scegli qualsiasi modello che conosci e chiediti se credi davvero che esista un valore vero, universale, preciso e fisso per ogni parametro, anche in teoria.

Ignora l'errore di misurazione, basta guardare il tuo modello come se tutte le misurazioni fossero perfettamente accurate e infinitamente precise. Dato il tuo modello, pensi che ogni parametro abbia realisticamente un valore in punti specifico?

Il fatto che tu abbia un modello indica che stai lasciando fuori alcuni dettagli. Il tuo modello avrà una certa imprecisione perché stai facendo una media dei parametri / variabili che hai lasciato fuori per creare un modello - una rappresentazione semplificata della realtà. (Proprio come non crei una mappa 1: 1 del pianeta, completa di tutti i dettagli, ma piuttosto una mappa 1: 10000000, o qualche semplificazione del genere. La mappa è un modello.)

Dato che stai calcolando la media tra le variabili di sinistra, i parametri per le variabili che includi nel tuo modello saranno le distribuzioni, non i valori dei punti.

Questa è solo una parte della filosofia bayesiana - sto ignorando l'incertezza teorica, l'incertezza di misura, i priori, ecc. - Ma mi sembra che l'idea che i tuoi parametri abbiano distribuzioni abbia un senso intuitivo, allo stesso modo in cui le statistiche descrittive hanno un distribuzione.

Ma i bayesiani riconoscono teoricamente che esiste un vero valore di parametro fisso nel "mondo reale?"

Secondo me, la risposta è sì. C'è un valore sconosciuto$\theta_0$del parametro e la distribuzione precedente descrive la nostra conoscenza / incertezza al riguardo. Nella modellistica matematica bayesiana,$\theta_0$ è considerata come la realizzazione di una variabile casuale a seguito della distribuzione precedente.

Se andiamo ad abbinare il bayesismo con un universo deterministico (prima di dire qualcosa con la parola 'quantum' in esso, umorizzami e ricorda che non si tratta di fisica.scambio di borsa) otteniamo alcuni risultati interessanti.

Rendere espliciti i nostri presupposti:

1. Abbiamo un agente bayesiano che fa parte e osserva un universo deterministico.
2. L'agente ha risorse di calcolo limitate.

Ora, l'universo deterministico può essere uno in cui gli atomi sono piccole palline da biliardo newtoniane. Potrebbe essere del tutto non quantico. Diciamo che lo è.

L'agente lancia ora una moneta giusta. Pensaci per un secondo, cosa costituisce una moneta giusta in un universo deterministico? Una moneta che ha un rapporto di probabilità 50/50?

Ma è deterministico! Con una potenza di calcolo sufficiente puoi calcolare esattamente come atterrerà la moneta, semplicemente simulando un modello di una moneta che viene lanciata nello stesso modo.

In un universo deterministico una moneta giusta sarebbe un disco di metallo con densità uniforme. Nessuna forza lo obbliga a passare più tempo con una faccia in giù dell'altra (pensa a come funzionano i dadi ponderati).

Quindi l'agente lancia una moneta giusta. Tuttavia, l'agente non è abbastanza potente. Non ha occhi abbastanza nitidi da misurare il modo in cui la moneta gira quando viene lanciata, vede solo una sfocatura.

E così dice "Questa moneta farà atterrare una testa con il 50% di probabilità". La mancanza di informazioni porta a probabilità.

Potremmo guardare lo spazio delle fasi di come viene lanciata una moneta. Un grande sistema di coordinate multidimensionali con assi relativi alla direzione di lancio, alla forza di lancio, alla rotazione della moneta, alla velocità e alla direzione del vento e così via. Un singolo punto in questo spazio corrisponde a un singolo coinflip possibile.

Se prima chiediamo all'agente di colorare il sistema di coordinate con un gradiente in scala di grigi corrispondente all'assegnazione dell'agente di probabilità di prevalenza per ogni lancio, la maggior parte colora tutto di una tonalità uniforme di grigio.

Se gli forniamo gradualmente computer interni più potenti con cui calcolare le probabilità delle teste, sarà in grado di effettuare colorazioni sempre più esigenti. Quando finalmente gli daremo il più potente computer interno, rendendolo onnisciente, dipingerà effettivamente una strana scacchiera.

Le monete giuste non sono fatte di probabilità, sono fatte di metallo. Le probabilità esistono solo nelle strutture computazionali. Così dice il bayesiano.

Ci sono priori impropri, ad esempio Jeffreys, che ha una certa relazione con la matrice di informazioni sui pescatori. Quindi non è soggettivo.