I bayesiani sostengono mai che ci sono casi in cui il loro approccio si generalizza / si sovrappone all'approccio frequentista?

12

I bayesiani sostengono mai che il loro approccio generalizza l'approccio frequentista, perché si possono usare priori non informativi e, quindi, è possibile recuperare una tipica struttura modello frequentista?

Qualcuno può indirizzarmi in un posto dove posso leggere su questo argomento, se è effettivamente utilizzato?

EDIT: Questa domanda è forse formulata non esattamente nel modo in cui intendevo esprimerla. La domanda è: "c'è qualche riferimento alla discussione dei casi in cui l'approccio bayesiano e l'approccio frequentista si sovrappongono / si intersecano / hanno qualcosa in comune attraverso l'uso di un certo precedente?" Un esempio potrebbe essere l'utilizzo della impropria precedente , ma sono abbastanza sicuro che questa sia solo la punta della punta dell'iceberg. $p(\theta) = 1$

bayesian references frequentist

— singelton
fonte

2

Ricordo che questa argomentazione è stata fatta nell'Introduzione all'econometria bayesiana di Greenberg, ma non sono positivo e non sono sicuro che ci sia un riferimento migliore. Inoltre, credo che non sia solo la scelta del priore, ma anche la fiducia nel priore.

— Giovanni

3

C'è una buona argomentazione secondo cui i frequentatori generalizzano l'approccio di Bayes! Ciò segue perché i frequentatori sono felici di usare i priori quando questi sono giustificati (dalla teoria o dai dati) ma in aggiunta usano metodi che i bayesiani non toccherebbero. :-)

— whuber

3

Sono approcci completamente diversi a partire dal modo in cui viene interpretata la Probabilità (vedi ad esempio il link ). Inoltre, non esiste una definizione univoca (ancor meno accettata) di un precedente non informativo semplicemente perché non esiste una definizione univoca (o accettata) di informazioni . Anche se gli stimatori sono quantitativamente uguali, l'interpretazione di uno stimatore frequentista e uno stimatore bayesiano è diversa. Come ho detto in un precedente commento "È come dire che le arance generalizzano le mele".

1

@Procrastinator Sono completamente d'accordo sul fatto che non sempre si intersecano. Sto cercando argomenti nei casi in cui lo fanno. Permettetemi di ri-inquadrare la domanda: "c'è qualche riferimento a una discussione in cui le statistiche bayesiane e le statistiche frequentiste si sovrappongono in un modo o nell'altro attraverso l'uso di un precedente?" Un esempio potrebbe essere l'utilizzo della

impropria precedente

. Ma questa è davvero la punta dell'iceberg, credo.

p (θ) = 1

$p(\theta) = 1$

— singelton,

1

@Procrastinator sì, grazie! questo è esattamente il tipo di discussione che sto cercando (anche se, immagino che sia ancora la punta dell'iceberg). Devo solo trovare un libro che lo faccia a fondo e non sono riuscito a trovarne uno. Continuerò a cercare. grazie ancora. (la maggior parte dei libri si concentra sull'approccio frequentista o l'approccio bayesiano, ma non confrontare i due nel modo in cui l'hai fatto.)

— singelton

11

Ho visto due argomenti avanzati che l'analisi bayesiana è una generalizzazione di un'analisi frequentista. Entrambi erano in qualche modo ironici, e più riuscivano a far riconoscere alle persone le ipotesi sui modelli di regressione usando i priori come contesto.

Argomento 1: L'analisi del frequentista è l'analisi bayesiana con un precedente puramente non informativo centrato su zero (sì, non importa dove sia centrato, ma ignoralo). Ciò fornisce sia il contesto per il quale un bayesiano potrebbe estrarre i risultati di un'analisi del frequentista, spiega perché è possibile cavarsela utilizzando alcune tecniche "bayesiane" come MCMC per estrarre le stime del frequentatore in situazioni in cui, ad esempio, la massima convergenza di probabilità è dura e ottiene le persone riconoscono che quando dicono "I dati parlano da soli" e simili, quello che stanno effettivamente dicendo è che in anticipo, tutti i valori sono ugualmente probabili.

Argomento 2: A qualsiasi termine di regressione che non si include in un modello è stato, in effetti, assegnato un precedente centrato su zero senza varianza. Questo non è tanto un'argomentazione "L'analisi bayesiana è una generalizzazione" quanto l' argomento "Ci sono priori dappertutto , anche nei vostri modelli frequentisti".

— fomite
fonte

3

+1 L'argomento 2 è interessante. Due commenti sull'argomento 1: 1. Direi priori piatti invece di non informativi (quest'ultimo è un termine improprio, se mai ce n'era uno). 2. Non è necessario parlare di priori per motivare l'uso dell'MCMC nell'analisi frequentista - non c'è nulla di intrinsecamente bayesiano in questa tecnica numerica !

— Martedì

grazie EpiGrad. Hai qualche riferimento che discute i due argomenti che hai citato?

— singelton,

1

+1 Va bene fintanto che le persone si rendono conto che è una lingua nella guancia per ottenere un punto. Ma per favore non prenderlo sul serio!

— Michael R. Chernick,

@ MånsT - Sono d'accordo sul fatto che MCMC non necessiti di una giustificazione per l'uso, ma trovo che esista nella mente delle persone come qualcosa nel regno bayesiano, piuttosto che una tecnica puramente numerica. Questo aiuta a respingerli.

— Fomito

@bayesianOrFrequentist Non proprio no.

— Fomito

6

La risposta breve è probabilmente "sì - e non hai nemmeno bisogno di un piano prima che questo argomento sia valido".

Ad esempio, la stima Maximum A Posteriori (MAP) è una generalizzazione della massima probabilità che include un precedente e ci sono approcci frequentisti che sono analiticamente equivalenti a trovare questo valore. Il frequentista identifica "il precedente" come "vincolo" o "penalità" sulla funzione di probabilità e ottiene la stessa risposta. Quindi sia i frequentatori che i bayesiani possono indicare la stessa cosa come la loro migliore stima dei parametri, anche se le filosofie sono diverse. La sezione 5 di questo documento per frequentatori è un esempio in cui sono equivalenti.

La risposta più lunga è più simile a "sì, ma spesso ci sono altri aspetti dell'analisi che distinguono i due approcci. Tuttavia, anche queste distinzioni non sono necessariamente rivestite di ferro in molti casi".

Ad esempio, mentre i bayesiani a volte usano la stima MAP (modalità posteriore) quando è conveniente, in genere enfatizzano invece la media posteriore. D'altra parte, la media posteriore ha anche un analogo frequentista, chiamato stima "insaccata" (da "aggregazione bootstrap") che può essere quasi indistinguibile (vedere questo pdf per un esempio di questo argomento). Quindi neanche questa è una distinzione "difficile".

In pratica, tutto ciò significa che anche quando un frequentatore fa qualcosa che un bayesiano considererebbe totalmente illegale (o viceversa), c'è spesso (almeno in linea di principio) un approccio dall'altro campo che darebbe quasi la stessa risposta.

L'eccezione principale è che alcuni modelli sono davvero difficili da adattare da una prospettiva frequentista, ma è più un problema pratico che filosofico.

— David J. Harris
fonte

grazie David. La tua risposta è utile Sto anche cercando un riferimento che discuti a lungo questo punto. Voglio vedere qual è l'argomento dei bayesiani sui priori non informativi e sul modo in cui possono essere ridotti all'approccio frequentista. Capisco perfettamente il punto tecnico dietro di esso (ad esempio, se moltiplichi la probabilità per 1 ... otterrai la tua probabilità :-)), ma sto cercando una discussione più decente.

— singelton,

1

Sto scoprendo che molti giovani non conoscono la storia o non comprendono l'essenza del paradigma bayesiano. Definirlo una generalizzazione dell'approccio frequentista travisa davvero il confronto di questi paradigmi. Prendendo il commento dei procrastinatori e mettendolo in un modo leggermente diverso, direi che è come dire che una mela è solo un'arancia di grandi dimensioni,

— Michael R. Chernick,

@DavidJHarris Non mi è piaciuta la tua risposta. Tecnicamente le relazioni a cui fai riferimento sono legittime, ma dire "sì" nella risposta breve dà l'impressione sbagliata. Non credo che i bayesiani vorrebbero definire il loro paradigma una generalizzazione delle statistiche frequntist. I termini completamente bayesiano, empirico bayesiano e forse distinguono i paradigmi relativi a bayesiani, ma penso che i bayesiani potrebbero obiettare a chiamare questi rami del paradigma bayesiano.

— Michael R. Chernick,

2

@MichaelChernick Point preso. Non intendevo implicare che tutte le statistiche e la filosofia bayesiane hanno analoghi frequentisti stretti e viceversa, solo che spesso si può trovare un metodo che realizzerà lo stesso lavoro da entrambi i campi e che l'approccio bayesiano tende ad essere il più flessibile dei due. Forse avrei dovuto sottolineare che, anche quando le stime dei parametri ottenute dalle due scuole sono identiche, dovrebbero comunque essere interpretate diversamente, come indicato da Procrastinator altrove.

— David J. Harris,

@DavidJHarris. Sono d'accordo con tutto ciò che dici, ma salvo solo l'uso del termine generalizzazione.

— Michael R. Chernick,

3

Edwin Jaynes è stato uno dei migliori a mettere in evidenza le connessioni tra inferenza bayesiana e frequentista. I suoi intervalli di confidenza cartacea rispetto agli intervalli bayesiani (la ricerca di Google lo mostra) come un confronto molto approfondito - e penso che sia giusto.

La stima di piccole aree è un'altra area in cui le risposte ML / REML / EB / HB tendono ad essere vicine.

— probabilityislogic
fonte

2

Molti di questi commenti presuppongono che "frequentista" significhi "stima della massima verosimiglianza". Alcune persone hanno una definizione diversa: "frequentista" significa un tipo di analisi delle proprietà inferenziali a lungo termine di qualsiasi metodo di inferenza - sia bayesiano, o metodo dei momenti, o massima probabilità, o qualcosa espresso in modo non probabilistico termini (ad es. SVM), ecc.

— Brendan OConnor
fonte

1

Mi piacerebbe avere notizie da Stephane o da qualche altro esperto bayesiano al riguardo. Direi di no perché è un approccio diverso, non una generalizzazione. In un altro contesto questo è stato discusso qui prima. Non pensare che solo perché i priori piatti producono risultati vicini alla massima probabilità che un metodo bayesiano con un precedente piatto sia frequentista! Penso che sarebbe una falsa presunzione che ti indurrebbe a pensare che rendendo arbitrario il precedente ti stai generalizzando ad altri possibili priori. Non la penso così e sono abbastanza sicuro che neanche la maggior parte dei bayesiani.

Quindi alcune persone lo sostengono, ma non credo che dovrebbero essere classificati come bayesiani

sebbene Stephane abbia sottolineato la difficoltà con una forte classificazione. Quindi, a rigor di termini, se la parola è mai, allora penso che potrebbe dipendere da come si definisce bayesiano.

— Michael R. Chernick
fonte

(+1) Sono approcci completamente diversi. È come dire che le arance generalizzano le mele.

5

Mangiare un sacco di arance e niente mele fa pensare così.

— Alfred M.

questo è vero, sebbene la massima verosimiglianza sia una delle poche procedure generali per fare l'inferenza del frequentatore. Quindi, invariabilmente, sarà sovrarappresentata nelle discussioni generali sui metodi frequentisti. Sono sorpreso che il campionamento del sondaggio non sia stato menzionato come GREG.

— probabilityislogic