Trovare la precisione della stima della simulazione Monte Carlo

sfondo

Sto progettando una simulazione Monte Carlo che combina i risultati di una serie di modelli e voglio essere sicuro che la simulazione mi consentirà di fare ragionevoli affermazioni sulla probabilità del risultato simulato e sulla precisione di tale stima della probabilità.

La simulazione troverà la probabilità che una giuria proveniente da una determinata comunità condannerà un determinato imputato. Questi sono i passaggi della simulazione:

1. Utilizzando i dati esistenti, genera un modello di probabilità logistica ( M ) regredendo al "voto del primo scrutinio dei giurati" sui predittori demografici.

2. Utilizzare i metodi Monte Carlo per simulare 1.000 versioni di M (ovvero 1000 versioni dei coefficienti per i parametri del modello).

3. Seleziona una delle 1.000 versioni del modello ( M _i ).

4. Empanel 1.000 giurie selezionando casualmente 1.000 serie di 12 "giurati" da una "comunità" ( C ) di individui con specifiche caratteristiche demografiche.

5. Calcola in modo deterministico la probabilità di un primo voto per colpevolezza per ciascun giurato utilizzando M _i .

6. Rende ogni probabile voto di "giurato" in un determinato voto (basato sul valore maggiore o minore del valore selezionato casualmente tra 0-1).

7. Determinare il "voto finale" di ciascuna "giuria" utilizzando un modello (derivato da dati empirici) della probabilità che una giuria condannerà, in base alla percentuale di giurati che votano per convinzione al primo scrutinio.

8. Memorizza la percentuale di verdetti di colpevolezza per le 1000 giurie ( PG _i ).

9. Ripetere i passaggi 3-8 per ciascuno dei 1.000 versioni simulate di M .

10. Calcolare il valore medio di PG e la relazione che, come la stima puntuale della probabilità di condanna in  C .

11. Identificare i valori percentili 2,5 e 97,5 per PG e riportarlo come intervallo di confidenza 0,95.

Attualmente sto usando 1.000 giurati e 1.000 giurie sulla teoria secondo cui 1.000 estrazioni casuali da una distribuzione di probabilità - caratteristiche demografiche di C o versioni di M - riempiranno quella distribuzione.

Domande

Questo mi permetterà di determinare con precisione la precisione del mio preventivo? In tal caso, quante giurie ho bisogno di impanare per ogni calcolo PG _i per coprire la distribuzione di probabilità di C (quindi evito distorsioni di selezione); posso usare meno di 1.000?

Grazie mille per qualsiasi aiuto!

Esiste un criterio generale e "nell'universo" per la bontà di Monte Carlo: la convergenza.

Attenersi a una M e controllare come si comporta il PG con il numero di giurie: dovrebbe convergere, quindi ti mostrerà un numero di ripetizioni per le quali avrai un numero ragionevole (per la tua applicazione) di cifre significative. Ripeti questo benchmark per poche altre M per assicurarti di non essere fortunato con la selezione M, quindi procedi con l'intera simulazione.

Mi sembra che il problema qui sia se il modello è troppo complesso da guardare senza usare la simulazione Monte Carlo.

Se il modello è relativamente semplice, dovrebbe essere possibile esaminarlo attraverso le statistiche conventioanl e ricavare una soluzione alla domanda posta, senza ripetere l'esecuzione del modello più volte. Questo è un po 'una semplificazione eccessiva, ma se tutto il tuo modello fosse produrre punti basati su una distribuzione normale, allora potresti facilmente ricavare il tipo di risposte che stai cercando. Naturalmente, se il modello è così semplice, è improbabile che tu debba fare una simulazione Monte Carlo per trovare le tue risposte.

Se il problema è complesso e non è possibile scomporlo in più elementare, Monte-Carlo è il tipo giusto di modello da usare, ma non credo che ci sia alcun modo per definire i limiti di confidenza senza eseguire il modello. Alla fine, per ottenere il tipo di limiti di confidenza descritti, il modello dovrebbe essere eseguito più volte, una distribuzione di probabilità dovrebbe essere adeguata agli output e da lì si potrebbero definire i limiti di confidenza. Una delle sfide con la simulazione Monte-Carlo è che i modelli forniscono risposte buone e regolari per le distribuzioni nella fascia media, ma le code spesso danno risultati molto più variabili, il che alla fine significa più corse per definire la forma degli output al 2,5% e 97,5% di percentili.