Quali sono / sono i priori impliciti nelle statistiche frequentiste?

Ho sentito l'idea che Jaynes afferma che i frequentatori operano con un "precedente implicito".

Che cosa sono o sono questi priori impliciti? Questo significa che i modelli frequentisti sono tutti casi speciali di modelli bayesiani che aspettano di essere trovati?

Nella teoria delle decisioni frequentiste, esistono risultati di classe completi che caratterizzano le procedure ammissibili come procedure di Bayes o come limiti delle procedure di Bayes. Ad esempio, la condizione necessaria e sufficiente di Stein (Stein. 1955; Farrell, 1968b) afferma che, secondo le seguenti ipotesi

1. la densità di campionamento è continua in e strettamente positiva su ; eθ $f(x|\theta)$$\theta$$\Theta$
2. la funzione di perdita è strettamente convessa, continua e, se è compatta,E ⊂ Θ lim ‖ δ ‖ → + ∞ inf θ ∈ E L ( θ , δ ) = + ∞ $L$$E\subset\Theta$ $$\lim_{\|\delta\|\rightarrow +\infty} \inf_{\theta\in E}L(\theta,\delta) =+\infty.$$

uno stimatore è ammissibile se, e solo se, esiste$\delta$

• una sequenza di insiemi compatti in aumento tali che ,Θ = ⋃ n F $(F_n)$$\Theta=\bigcup_n F_n$
• una sequenza di misure finite con supporto eF $(\pi_n)$$F_n$

• una sequenza di stimatori di Bayes associati a tale cheπ $(\delta_n)$$\pi_n$

  1. esiste un set compatto tale cheinf n π n ( E 0 ) ≥ $E_0\subset \Theta$$\inf_n \pi_n(E_0) \ge 1$
  2. se è compatto,$E\subset \Theta$$\sup_n \pi_n(E) <+\infty$
  3. $\lim_n r(\pi_n,\delta)-r(\pi_n) = 0$ e
  4. $\lim_n R(\theta,\delta_n)= R(\theta,\delta)$ .

[tratto dal mio libro Bayesian Choice , Teorema 8.3.0, p.407]

In questo senso limitato, la proprietà frequentista della ricevibilità è dotata di uno sfondo bayesiano, associando quindi un precedente (o sequenza) implicito a ciascuno stimatore ammissibile.

Sidenote: In una triste coincidenza, Charles Stein morì il 25 novembre a Palo Alto, in California. Aveva 96 anni.

Esiste un risultato simile (se matematicamente coinvolto) per la stima invariante o equivariante, vale a dire che il miglior stimatore equivariante è uno stimatore di Bayes per ogni gruppo transitivo che agisce su un modello statistico, associato alla giusta misura di Haar, , indotta su da questo gruppo e la corrispondente perdita invariante. Vedi Pitman (1939), Stein (1964) o Zidek (1969) per i dettagli coinvolti. Questo è probabilmente ciò che Jaynes aveva in mente, mentre sosteneva con forza la risoluzione dei paradossi dell'emarginazione mediante i principi di invarianza .$\pi^*$$\Theta$

Inoltre, come dettagliato nella risposta civilstat , un'altra nozione frequente di ottimalità, vale a dire minimaxity, è anche collegata alle procedure bayesiane in quanto la procedura minimax che minimizza l'errore massimo (sopra lo spazio dei parametri) è spesso la procedura massima che massimizza l'errore minimo ( su tutte le distribuzioni precedenti), quindi è una procedura Bayes o un limite delle procedure Bayes.

D .: Esiste un pithy takeaway che posso usare per trasferire la mia intuizione bayesiana su modelli frequentisti?

Innanzitutto eviterei di usare il termine "modello frequentista" in quanto vi sono modelli di campionamento (i dati sono una realizzazione di per un valore di parametro )X ∼ f ( x | θ ) $x$$X\sim f(x|\theta)$$\theta$ e procedure per frequentisti (miglior stimatore imparziale, minimo intervallo di confidenza della varianza, ecc.)95 95In secondo luogo, non vedo una ragione metodologica o teorica convincente per considerare i metodi frequentisti come metodi bayesiani limite o limitanti. La giustificazione per una procedura frequentista, quando esiste, è soddisfare alcune proprietà di ottimalità nello spazio di campionamento, cioè quando si ripetono le osservazioni. La giustificazione principale per le procedure bayesiane è quella di essere ottimale [secondo uno specifico criterio o funzione di perdita] data una distribuzione precedente e una realizzazione dal modello di campionamento. A volte, la procedura risultante soddisfa alcune proprietà frequentiste (la regione credibile al % è una regione di confidenza al %)$95$$95$ , ma ciò accade in quanto questa ottimalità non si trasferisce a tutte le procedure associate al modello bayesiano.

@ La risposta di Xi'an è più completa. Ma dal momento che hai anche chiesto un pithy take-away, eccone uno. (I concetti che menziono non sono esattamente gli stessi dell'impostazione di ammissibilità sopra.)

Ai frequentatori spesso (ma non sempre) piace usare stimatori che sono "minimax": se voglio stimare , il rischio peggiore del mio stimatore dovrebbe essere migliore del rischio peggiore di qualsiasi altro stimatore . Si scopre che gli MLE sono spesso (approssimativamente) minimix. Vedi i dettagli, ad esempio qui o qui .$\theta$$\hat{\theta}$

Al fine di trovare lo stimatore minimax per un problema, un modo è quello di pensare per un momento Bayesiano e trovare il "precedente meno favorevole" . Questo è il priore il cui stimatore Bayes ha un rischio medio più elevato rispetto a qualsiasi altro stimatore Bayes precedente. Se riesci a trovarlo, allora lo stimatore di Bayes di è minimox.$\pi$$\pi$

In questo senso, si potrebbe dire in modo conciso: un frequentista (che utilizza il minimox ) è come un bayesiano che ha scelto (la stima puntuale basata su) un precedente meno favorevole.

Forse potresti allungare questo per dire: un tale frequentista è un bayesiano conservatore, che sceglie non i priori soggettivi o anche i priori non informativi ma (in questo senso specifico) i casi peggiori.

Infine, come altri hanno già detto, è un modo per confrontare Frequentisti e Bayesiani in questo modo. Essere un frequentatore non implica necessariamente che usi un certo stimatore. Significa solo che ponete domande sulle proprietà di campionamento del vostro stimatore, mentre queste domande non sono la massima priorità di Bayesian. (Quindi ogni Bayesiano che spera in buone proprietà di campionamento, ad esempio "Bayes calibrati", è anche un Frequentista.)
Anche se si definisce un Frequentista come uno i cui stimatori hanno sempre proprietà di campionamento ottimali , ci sono molte proprietà del genere e non si può sempre incontrali tutti in una volta. Quindi è difficile parlare in generale di "tutti i modelli frequentisti".