Tassi di accettazione per Metropolis-Hastings con distribuzione uniforme dei candidati

Quando si esegue l'algoritmo Metropolis-Hastings con distribuzioni uniformi dei candidati, qual è la logica di avere tassi di accettazione intorno al 20%?

Il mio pensiero è: una volta scoperti i valori dei parametri veri (o vicini al vero), allora nessuna nuova serie di valori dei parametri candidati dallo stesso intervallo uniforme aumenterebbe il valore della funzione di probabilità. Pertanto, più iterazioni eseguo, più bassi sono i tassi di accettazione che dovrei ottenere.

Dove sbaglio in questo pensiero? Grazie molto!

Ecco l'illustrazione dei miei calcoli:

$$Acceptance\_rate = \exp \{l(\theta_c|y) + \log(p(\theta_c)) - [l(\theta^*|y) + \log(p(\theta^*) ]\},$$

dove sono la verosimiglianza.$l$

Poiché candidati sono sempre presi dallo stesso intervallo uniforme,$\theta$

$$p(\theta_c) = p(\theta^*).$$

Pertanto il calcolo del tasso di accettazione si riduce a:

$$Acceptance\_rate = \exp \{l(\theta_c | y) - [l(\theta^* | y) ]\}$$

La regola di accettazione di è quindi la seguente:$\theta_c$

$U \le Acceptance\_rate$$U$$[0,1]$

$$\theta^* = \theta_c,$$

$\theta_c$$[\theta_{min}, \theta_{max}]$

Credo che la debole convergenza e il ridimensionamento ottimale degli algoritmi Metropolis a piedi casuali di Roberts, Gelman e Gilks ​​siano la fonte del tasso di accettazione ottimale di 0,234.

Ciò che il documento mostra è che, secondo determinate ipotesi, è possibile ridimensionare l'algoritmo Metropolis-Hastings della camminata casuale mentre la dimensione dello spazio va all'infinito per ottenere una diffusione limitante per ciascuna coordinata. Nel limite, la diffusione può essere vista come "più efficiente" se il tasso di accettazione assume il valore 0,234. Intuitivamente, è un compromesso tra fare molti piccoli passi accettati e fare molte grandi proposte che vengono respinte.

L'algoritmo Metropolis-Hastings non è in realtà un algoritmo di ottimizzazione, al contrario della ricottura simulata. È un algoritmo che dovrebbe simulare dalla distribuzione target, quindi la probabilità di accettazione non dovrebbe essere guidata verso 0.

Solo per aggiungere la risposta di @NRH. L'idea generale segue il principio Goldilocks :

• Se i salti sono "troppo grandi", la catena si attacca;
• Se i salti sono "troppo piccoli", la catena esplora lo spazio dei parametri molto più lentamente;
• Vogliamo che i salti siano giusti.

Naturalmente la domanda è: cosa intendiamo per "giusto". In sostanza, per un caso particolare minimizzano la distanza di salto quadrata prevista. Ciò equivale a ridurre al minimo le autocorrelazioni lag-1. Di recente, Sherlock e Roberts hanno dimostrato che la magia 0.234 vale per altre distribuzioni target:

C. Sherlock, G. Roberts (2009); Ridimensionamento ottimale della camminata casuale Metropolis su obiettivi unimodali ellitticamente simmetrici ; Bernoulli 15 (3)

Sto aggiungendo questo come risposta perché non ho abbastanza reputazione per commentare sotto la domanda. Penso che tu sia confuso tra il tasso di accettazione e il rapporto di accettazione .

1. Il rapporto di accettazione viene utilizzato per decidere se accettare o rifiutare un candidato. Il rapporto che stai chiamando come tasso di accettazione è in realtà chiamato rapporto di accettazione ed è diverso dal tasso di accettazione.
2. Il tasso di accettazione è il tasso di accettazione dei candidati. È il rapporto tra il numero di valori univoci nella catena MCMC e il numero totale di valori nella catena MCMC.

Ora il tuo dubbio sul fatto che il tasso di accettazione ottimale sia del 20% riguarda in realtà il tasso di accettazione reale, non il rapporto di accettazione. La risposta è data nelle altre risposte. Volevo solo sottolineare la confusione che stai avendo.