Un bayesiano ammetterebbe che esiste un valore di parametro fisso?


40

Nell'analisi dei dati bayesiani, i parametri sono trattati come variabili casuali. Ciò deriva dalla concettualizzazione soggettiva bayesiana della probabilità. Ma i bayesiani riconoscono teoricamente che esiste un vero valore di parametro fisso nel "mondo reale?"

Sembra che la risposta ovvia sia "sì", perché tentare di stimare il parametro sarebbe quasi privo di senso. Una citazione accademica per questa risposta sarebbe molto apprezzata.


2
Dammi quel parametro e definirò una distribuzione per esso. :-)
Anne van Rossum,

Risposte:


43

IMHO "si"! Ecco una delle mie citazioni preferite di Groenlandia (2006: 767):

Si dice spesso (erroneamente) che "i parametri sono trattati come fissati dal frequentista ma come casuali dal bayesiano". Sia per i frequentatori che per i bayesiani, il valore di un parametro potrebbe essere stato fissato dall'inizio o potrebbe essere stato generato da un meccanismo fisicamente casuale. In entrambi i casi, entrambi suppongono che abbia assunto un valore fisso che vorremmo sapere. Il bayesiano usa modelli di probabilità formali per esprimere l'incertezza personale su quel valore. La "casualità" in questi modelli rappresenta l'incertezza personale sul valore del parametro; non è una proprietà del parametro (sebbene dovremmo sperare che rifletta accuratamente le proprietà dei meccanismi che hanno prodotto il parametro).

Groenlandia, S. (2006). Prospettive bayesiane per la ricerca epidemiologica: I. Fondamenti e metodi di base. International Journal of Epidemiology , 35 (3), 765–774.


2
Essendo leggermente contrario, non si potrebbe sostenere che la (posizione, quantità di moto) di una particella sia un "parametro" che potremmo provare a stimare? Si potrebbe sostenere che non esiste un valore "fisso" di questo parametro e che dovremmo davvero considerarlo come una distribuzione. Considerare le incognite specificamente come distribuzioni piuttosto che valori fissi sembra essere ciò che la natura fa in determinate situazioni. Non penso che questo ragionamento sia molto attraente per un bayesiano in pratica, ma penso che per rispondere pienamente alla domanda dei PO sia necessaria una discussione sulla natura della casualità.
ragazzo

3
Non vedo ciò che è "non comune" nel considerare una distribuzione come bersaglio dell'inferenza. In effetti, indicizzare le cose con parametri è comunque facoltativo, ad esempio si può affermare la propria incertezza usando direttamente le distribuzioni sulle funzioni (vedere Neal e Williams sui processi gaussiani). E non è necessario avere una visione particolare della "casualità" per rappresentare l'incertezza con il calcolo della probabilità. Inferenza sulla base di campionamento (teoria) probabilmente non ha bisogno di una tale teoria, ma per quanto posso vedere Bayesianism non è (o almeno non ha bisogno di essere.)
conjugateprior

2
Non sono d'accordo sul fatto che un bayesiano presuma che un parametro abbia un valore fisso ed è solo la loro incertezza personale che li spinge a definire il parametro come una distribuzione piuttosto che un punto. Ho cercato di approfondire questo nella mia risposta. La tua incertezza personale / teorica fa parte della distribuzione, ma mi sembra che il tuo modello stia essenzialmente calcolando la media tra le variabili che sono state escluse dal modello e che crea una distribuzione, anche se i tuoi priori personali sono molto precisi.
Wayne,

29

La concezione bayesiana di una probabilità non è necessariamente soggettiva (cfr. Jaynes). La distinzione importante qui è che il bayesiano tenta di determinare il proprio stato di conoscenza riguardo al valore del parametro combinando una distribuzione precedente per il suo valore plausibile con la probabilità che sintetizzi le informazioni contenute in alcune osservazioni. Quindi, come bayesiano, direi che sono contento dell'idea che il parametro abbia un valore vero, che non è noto esattamente, e lo scopo di una distribuzione posteriore è di riassumere ciò che so sui suoi valori plausibili, basato sui miei presupposti precedenti e le osservazioni.

Ora, quando faccio un modello, il modello non è la realtà. Quindi in alcuni casi il parametro in questione esiste nella realtà (ad es. Il peso medio di un vombato) e in alcune domande non lo è (ad es. Il vero valore di un parametro di regressione - il modello di regressione è solo un modello del risultato di le leggi fisiche che governano il sistema, che potrebbero non essere effettivamente catturate completamente dal modello di regressione). Quindi, dire che esiste un vero valore di parametro fisso nel mondo reale non è necessariamente vero.

Il rovescio della medaglia, suggerirei che la maggior parte dei frequentisti direbbe che esiste un vero valore per la statistica, ma non sanno nemmeno cosa sia, ma hanno degli stimatori e intervalli di confidenza nelle loro stime che (in un certo senso ) quantifica la loro incertezza riguardo alla plausibilità di valori diversi (ma la concezione frequente di una probabilità impedisce loro di esprimerlo direttamente).


Ho sempre pensato che le "probabilità soggettive" fossero chiamate soggettive perché si riferiscono a una proprietà del soggetto che fa il calcolo (cioè la sua conoscenza) piuttosto che a una proprietà della realtà oggettiva (ad esempio la distribuzione del peso di un dado non perfettamente giusto).
Nikie,

1
α

Lo so, ma sono ancora probabilità soggettive, giusto? Perché stanno ancora descrivendo la conoscenza del soggetto su alcuni parametri (che, per un frequentatore, non sarebbe affatto una variabile casuale)
nikie

Non c'è necessariamente un argomento. Una serie di robot o computer potrebbe eseguire tutti lo stesso calcolo e giungere alla stessa conclusione, utilizzando un approccio bayesiano frequentista o oggettivista. È lo stato di conoscenza, indipendentemente dalla materia che esegue il calcolo, motivo per cui è oggettivo piuttosto che soggettivo.
Dikran Marsupial,

17

Al punto principale, in Bayesian Data Analysis (3rd ed., 93), Gelman scrive anche

Dal punto di vista dell'analisi dei dati bayesiani, possiamo spesso interpretare le stime dei punti classici come sommari posteriori esatti o approssimativi basati su un modello implicito di piena probabilità. Nel limite di grandi dimensioni del campione, infatti, possiamo usare la teoria asintotica per costruire una giustificazione teorica bayesiana per l'inferenza della massima verosimiglianza classica.

Quindi forse non sono i bayesiani che dovrebbero "ammettere" che ci sono, in verità, singoli valori di parametri reali, ma i frequentatori che dovrebbero fare appello alle statistiche bayesiane per giustificare le loro procedure di stima! (Lo dico con la lingua saldamente nella guancia.)

Pr(θ|y)

Ma l'idea che ci siano singoli parametri in natura o nei sistemi sociali è solo un'ipotesi semplificativa. Potrebbe esserci un processo elaborato che genera risultati osservabili, ma scoprire che il sistema è incredibilmente complicato; supponendo che ci sia un singolo valore di parametro fisso semplifica notevolmente il problema. Penso che questo tagli al centro della tua domanda: i bayesiani non dovrebbero "ammettere" di fare questa semplificazione più di quanto non dovrebbero fare i frequentisti.


Ti dispiacerebbe approfondire il motivo per cui rifiuti che l'inferenza bayesiana sia basata sulla probabilità soggettiva? I testi introduttivi che ho letto (Kruschke, Lynch) sembrano incorniciare tutti in quel modo. È solo soggettivo (proveniente dal precedente)?
ATJ,

@ATJ Spero che questo chiarisca il mio punto. Ci sono altri argomenti che si potrebbero avanzare, ma il vero punto critico per me era l'assunto implicito che le statistiche bayesiane sono soggettive in modi che altri paradigmi non lo sono. Ad esempio, vorrei contestare la caratterizzazione nella citazione di Bernd perché sembra altrettanto "personale" favorire un metodo di stima del punto imparziale su un quadro di variabilità posteriore.
Sycorax dice di reintegrare Monica il

@ATJ, i testi introduttivi raccontano una storia per motivare i metodi. Qualcosa del genere potrebbe aver originariamente motivato i metodi. Ma ciò non significa che quella storia abbia molta influenza sui presupposti che le persone fanno nell'applicare questi metodi nella pratica. (E la storia potrebbe essere una sciocchezza: ad esempio, l'idea che le probabilità coinvolte nella statistica possano essere definite in termini di frequenze nel modo in cui i testi introduttivi del frequentista a volte dicono che non ha senso - i documenti di "15 Argomenti" di Google Alan Hajek Ciò non significa che le statistiche dei frequentisti non funzionino; è così.)
Mars

9

Pensi che esista un unico "vero parametro fisso" per qualcosa come il contributo del bere latte alla crescita di un bambino? O per la riduzione delle dimensioni di un tumore in base alla quantità di sostanza chimica X iniettata nel corpo di un paziente? Scegli qualsiasi modello che conosci e chiediti se credi davvero che esista un valore vero, universale, preciso e fisso per ogni parametro, anche in teoria.

Ignora l'errore di misurazione, basta guardare il tuo modello come se tutte le misurazioni fossero perfettamente accurate e infinitamente precise. Dato il tuo modello, pensi che ogni parametro abbia realisticamente un valore in punti specifico?

Il fatto che tu abbia un modello indica che stai lasciando fuori alcuni dettagli. Il tuo modello avrà una certa imprecisione perché stai facendo una media dei parametri / variabili che hai lasciato fuori per creare un modello - una rappresentazione semplificata della realtà. (Proprio come non crei una mappa 1: 1 del pianeta, completa di tutti i dettagli, ma piuttosto una mappa 1: 10000000, o qualche semplificazione del genere. La mappa è un modello.)

Dato che stai calcolando la media tra le variabili di sinistra, i parametri per le variabili che includi nel tuo modello saranno le distribuzioni, non i valori dei punti.

Questa è solo una parte della filosofia bayesiana - sto ignorando l'incertezza teorica, l'incertezza di misura, i priori, ecc. - Ma mi sembra che l'idea che i tuoi parametri abbiano distribuzioni abbia un senso intuitivo, allo stesso modo in cui le statistiche descrittive hanno un distribuzione.


7

Ma i bayesiani riconoscono teoricamente che esiste un vero valore di parametro fisso nel "mondo reale?"

Secondo me, la risposta è sì. C'è un valore sconosciutoθ0del parametro e la distribuzione precedente descrive la nostra conoscenza / incertezza al riguardo. Nella modellistica matematica bayesiana,θ0 è considerata come la realizzazione di una variabile casuale a seguito della distribuzione precedente.


Che cosa è esattamente θ0, cioè, cosa significa quell'abbonamento 0rappresentare?
nbro,

2

Se andiamo ad abbinare il bayesismo con un universo deterministico (prima di dire qualcosa con la parola 'quantum' in esso, umorizzami e ricorda che non si tratta di fisica.scambio di borsa) otteniamo alcuni risultati interessanti.

Rendere espliciti i nostri presupposti:

  1. Abbiamo un agente bayesiano che fa parte e osserva un universo deterministico.
  2. L'agente ha risorse di calcolo limitate.

Ora, l'universo deterministico può essere uno in cui gli atomi sono piccole palline da biliardo newtoniane. Potrebbe essere del tutto non quantico. Diciamo che lo è.

L'agente lancia ora una moneta giusta. Pensaci per un secondo, cosa costituisce una moneta giusta in un universo deterministico? Una moneta che ha un rapporto di probabilità 50/50?

Ma è deterministico! Con una potenza di calcolo sufficiente puoi calcolare esattamente come atterrerà la moneta, semplicemente simulando un modello di una moneta che viene lanciata nello stesso modo.

In un universo deterministico una moneta giusta sarebbe un disco di metallo con densità uniforme. Nessuna forza lo obbliga a passare più tempo con una faccia in giù dell'altra (pensa a come funzionano i dadi ponderati).

Quindi l'agente lancia una moneta giusta. Tuttavia, l'agente non è abbastanza potente. Non ha occhi abbastanza nitidi da misurare il modo in cui la moneta gira quando viene lanciata, vede solo una sfocatura.

E così dice "Questa moneta farà atterrare una testa con il 50% di probabilità". La mancanza di informazioni porta a probabilità.

Potremmo guardare lo spazio delle fasi di come viene lanciata una moneta. Un grande sistema di coordinate multidimensionali con assi relativi alla direzione di lancio, alla forza di lancio, alla rotazione della moneta, alla velocità e alla direzione del vento e così via. Un singolo punto in questo spazio corrisponde a un singolo coinflip possibile.

Se prima chiediamo all'agente di colorare il sistema di coordinate con un gradiente in scala di grigi corrispondente all'assegnazione dell'agente di probabilità di prevalenza per ogni lancio, la maggior parte colora tutto di una tonalità uniforme di grigio.

Se gli forniamo gradualmente computer interni più potenti con cui calcolare le probabilità delle teste, sarà in grado di effettuare colorazioni sempre più esigenti. Quando finalmente gli daremo il più potente computer interno, rendendolo onnisciente, dipingerà effettivamente una strana scacchiera.

Le monete giuste non sono fatte di probabilità, sono fatte di metallo. Le probabilità esistono solo nelle strutture computazionali. Così dice il bayesiano.


-3

Ci sono priori impropri, ad esempio Jeffreys, che ha una certa relazione con la matrice di informazioni sui pescatori. Quindi non è soggettivo.


2
Potresti approfondire in che modo il priore di Jeffreys e la sua relazione con la matrice di informazioni di Fisher significano che l'inferenza bayesiana non è soggettiva? A quanto ho capito, il motivo principale per usare il precedente di Jeffreys è che è invariante rispetto alle parametrizzazioni alternative del modello. Inoltre, in un contesto multidimensionale, i precedenti di Jeffreys possono diventare altamente informativi e i risultati sono controversi (Gelman, BDA 3, p. 53). Ciò mina la sua "obiettività"?
Sycorax dice di reintegrare Monica il

@ user777, poiché basato su parametri della densità a portata di mano è oggettivo. Supponiamo di moltiplicare la probabilità per 1, devo quindi subjetive prima della probabilità? Poiché la probabilità posteriore è correlata alla probabilità x precedente.
Analista

E il frequentatore deve anche invocare Axiom di The True Model se vuole usare la probabilità ... :)
Analista
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.