Perché a un bayesiano non è permesso guardare i residui?


46

Nell'articolo "Discussione: gli ecologisti dovrebbero diventare bayesiani?" Brian Dennis offre una visione sorprendentemente equilibrata e positiva delle statistiche bayesiane quando il suo obiettivo sembra essere quello di avvertire la gente al riguardo. Tuttavia, in un paragrafo, senza citazioni o giustificazioni, afferma:

I bayesiani, vedete, non sono autorizzati a guardare i loro residui. Viola il principio di verosimiglianza per giudicare un risultato in base a quanto è estremo sotto un modello. Per un bayesiano non ci sono modelli cattivi, solo cattive credenze.

Perché a un bayesiano non sarebbe permesso guardare i residui? Quale sarebbe la citazione appropriata per questo (cioè chi sta citando)?

Dennis, B.
Discussione: Gli ecologisti dovrebbero diventare bayesiani?
Applicazioni ecologiche, Ecological Society of America , 1996 , 6, 1095-1103


6
Se tale argomento avesse funzionato, anche i frequentatori non avrebbero potuto usare il principio di verosimiglianza - per lo stesso motivo.
Glen_b,

@Glen: analisi frequentista non violare il principio di verosimiglianza.
Scortchi - Ripristina Monica

3
@Glen: un frequentatore veramente creduto nell'LP (la versione debole, equivalente al Principio di Sufficienza - la versione forte è semplicemente incompatibile con l'approccio frequentista) dovrebbe evitare il controllo del modello. Coloro che lo ammirano sono contenti quando possono usarlo per il lavoro di stima dei parametri di un modello specificato e hanno ancora accessori più o meno indipendenti - i residui - rimasti per il controllo del modello di vecchi metodi.
Scortchi - Ripristina Monica

1
Anche quando il frequentatore esegue la stima ML, viola comunque l'LP perché considera la distribuzione campionaria dell'MLE per trovare un intervallo di confidenza per la sua stima.
Zen,

2
@Zen: non viola il LP debole fintanto che l'intervallo di confidenza dipende dai dati solo attraverso la funzione di verosimiglianza. Ma prima o poi potrebbe violare il forte LP facendo un diverso intervallo di confidenza basato sulla stessa funzione di probabilità da un esperimento diverso con uno spazio di campionamento diverso.
Scortchi - Ripristina Monica

Risposte:


19

Naturalmente i bayesiani possono guardare i residui! E naturalmente ci sono cattivi modelli nell'analisi bayesiana. Forse alcuni bayesiani negli anni '70 hanno sostenuto questo punto di vista (e ne dubito), ma difficilmente troverai alcun bayesiano a sostenere questo punto di vista in questi giorni.

Non ho letto il testo, ma i bayesiani usano cose come i fattori di Bayes per confrontare i modelli. In realtà, un bayesiano può persino calcolare la probabilità che un modello sia vero e scegliere il modello che ha maggiori probabilità di essere vero. Oppure un bayesiano può fare la media tra i modelli, per ottenere un modello migliore. O può utilizzare controlli predittivi posteriori. Ci sono molte opzioni per controllare un modello e ognuna può favorire un approccio o un altro, ma dire che non ci sono modelli cattivi nell'analisi bayesiana non ha senso.

Quindi, al massimo, sarebbe più appropriato dire che in alcune versioni estreme del bayesianismo (versioni estreme che quasi nessuno utilizza nelle impostazioni applicate, a proposito) non è consentito controllare il proprio modello. Ma di quanto si possa dire che in alcune versioni estreme del frequentismo non è consentito utilizzare anche i dati osservativi. Ma perché perdere tempo a discutere di queste cose sciocche, quando possiamo discutere se e quando, in un contesto applicato, dovremmo usare metodi bayesiani o frequentisti o altro? Questo è ciò che è importante, secondo la mia modesta opinione.

Aggiornamento: L'OP ha chiesto un riferimento a qualcuno che sostiene la versione estrema di Bayes. Dal momento che non ho mai letto nessuna versione estrema di Bayes, non posso fornire questo riferimento. Ma immagino che Savage possa essere un tale riferimento. Non ho mai letto nulla scritto da lui, quindi potrei sbagliarmi.

ps .: Pensa al problema del "Bayesiano ben calibrato" ( Dawid (1982), JASA , 77 , 379 ). Un previsore bayesiano soggettivista coerente non può essere ricalibrato, e quindi non rivederebbe il suo modello / previsioni nonostante le prove schiaccianti di non essere calibrato. Ma non credo che nessuno in pratica possa affermare di essere così coerente. Pertanto, la revisione del modello è importante.

ps2 .: Mi piace anche questo articolo di Efron . Il riferimento completo è: Efron, Bradley (2005). "Bayesiani, frequentisti e scienziati." Journal of American Statistical Association 100 (469).


5
Ho anche ipotizzato che il divieto non fosse mai stato preso sul serio nella pratica, quindi sono stato sorpreso di leggere questo da Gelman: - "Certamente non voglio tornare allo status quo del 1990 circa nelle statistiche bayesiane, in cui era considerato praticamente illegale verificare che il tuo modello sia adatto ai dati ".
Scortchi - Ripristina Monica

1
Non so come fossero le statistiche bayesiane negli anni Novanta. Ma è difficile credere che nelle impostazioni applicate i bayesiani non abbiano verificato i loro modelli. Forse hanno controllato, ma non lo hanno detto!
Manoel Galdino,

2

Sono assolutamente d'accordo sul fatto che questo non è un grosso problema, ero solo curioso di sapere se qualcuno avesse pubblicato su questo. Hai mai letto qualcuno che sostiene queste "versioni estreme del bayesianismo"?
Mankka,

35

Possono guardare ma non toccare. Dopotutto, i residui sono la parte dei dati che non portano alcuna informazione sui parametri del modello e il loro precedente esprime tutta l'incertezza su di essi: non possono cambiare il loro precedente in base a ciò che vedono nei dati.

Ad esempio, supponiamo che stia adattando un modello gaussiano, ma noti troppa curtosi nei residui. Forse la tua ipotesi precedente avrebbe dovuto essere una distribuzione t con probabilità diversa da zero su bassi gradi di libertà, ma non lo era - era effettivamente una distribuzione t con probabilità zero ovunque tranne che su infiniti gradi di libertà. Nulla nella probabilità può determinare probabilità diverse da zero rispetto alle regioni della densità posteriore in cui la densità precedente è zero. Pertanto, l'idea di aggiornare continuamente i prior in base alla probabilità dei dati non funziona quando il precedente originale viene specificato in modo errato.

Ovviamente se si esegue il "controllo del modello bayesiano" di Google, si vedrà che questa è una parodia dell'attuale pratica bayesiana; tuttavia, rappresenta una sorta di difficoltà per gli argomenti di tipo Logico della Scienza per la superiorità del bayesismo su basi filosofiche. Il blog di Andrew Gelman è interessante su questo argomento.


Hai qualche riferimento su questa "difficoltà per la logica della scienza"?
Mankka,

7
Mi riferivo a Jaynes, Probability Theory: The Logic of Science , in cui l'uso ripetuto del teorema di Bayes per aggiornare le distribuzioni di probabilità con l'arrivo di nuovi dati è considerato un paradigma per la crescita della conoscenza scientifica. Sono sicuro che affronta il problema di un priore troppo stretto, ma non ricordo come, o in modo soddisfacente. E cambierò "superiorità generale" in "superiorità per motivi filosofici", poiché ciò sembra trasmettere meglio ciò che intendevo dire.
Scortchi - Ripristina Monica

Questo esempio di uso precedente bayesiano è stato applicato per ridurre il verificarsi occasionale (2%) di esiti non fisici . Questa mancanza di fisicità è stata attribuita a una miscelazione istantanea non fisica (della droga nel corpo) ed è stata corretta ipotizzando una miscelazione iniziale zero usando un modello migliore. Sembra meglio adattare il modello al problema piuttosto che confondere le risposte per conformarsi ai preconcetti. (+1)
Carl
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.