Prerequisiti matematici e statistici per comprendere i filtri antiparticolato?

Attualmente sto cercando di capire i filtri antiparticolato e i loro possibili usi in ambito finanziario e sto lottando parecchio. Quali sono i prerequisiti matematici e statistici che dovrei rivisitare (provenienti da un background nella finanza quantitativa) al fine di (i) rendere accessibili le basi dei filtri antiparticolato e (ii) per comprenderle in seguito in modo approfondito? Ho una solida conoscenza dell'econometria delle serie temporali a livello di laurea, ad eccezione dei modelli spaziali statali, che non ho ancora trattato.

Tutti i suggerimenti sono molto apprezzati!

Puoi arrivare incredibilmente lontano con solo alcuni concetti di base. Notazione, un'esplosione di variabili ecc ... può rendere le cose sembrano complicate, ma l'idea centrale del filtro di particelle è molto semplice.

Alcune probabilità di base che dovresti (e probabilmente già fare!) Capire:

• $P(X = x) = \sum_i P(X = x, Y = y_i)$
• $P(X \mid Y) = \frac{P(X,Y)}{P(Y)}$
• $P(X \mid Y) = \frac{P(Y \mid X) P(X)}{P(Y)}$
• Termini bayesiani: ad es. prima, verosimiglianza, posteriore (+1 @Yair Daon, sono d'accordo!)

I passaggi di base di un filtro antiparticolato sono incredibilmente semplici:

Primo:

• Inizia con alcune credenze su uno stato nascosto. Ad esempio, puoi iniziare con la convinzione che il tuo razzo sia sulla piattaforma di lancio. (In un filtro antiparticolato, le credenze sullo stato nascosto saranno rappresentate con una nuvola di punti, ogni punto indica un possibile valore dello stato nascosto. Ogni punto è anche associato alla probabilità che lo stato sia il vero stato.)

$t$$t+1$

1. Fase di previsione: sposta la posizione in avanti dei punti in base alla legge del movimento. (ad es. spostare i punti in avanti in base alla velocità attuale, alla traiettoria del razzo ecc.). Questo in genere espande la nuvola di punti all'aumentare dell'incertezza.
2. Fase di aggiornamento della probabilità: utilizzare i dati, input del sensore per aggiornare le probabilità associate ai punti utilizzando la regola di Bayes. Questo di solito collassa la nuvola di punti man mano che l'incertezza viene ridotta.
3. Aggiungi alcuni passaggi / trucchi specifici per filtrare le particelle. Per esempio. :
   • Occasionalmente ricampiona i tuoi punti in modo che ogni punto abbia la stessa probabilità.
   • Mescola un po 'di rumore, impedisci al tuo passaggio di probabilità (2) di far collassare troppo la nuvola di punti (nel filtraggio delle particelle, è importante che ci sia almeno un punto con probabilità positiva vagamente nella tua vera posizione!)

Esempio:

Inizializza il filtro: - Guarda la tua posizione, dove ti trovi. Adesso chiudi gli occhi.

Quindi ripetere:

1. Fai un passo avanti con gli occhi chiusi.
2. Passo Previsione: dato credenze passate su dove si stava in piedi, prevedere dove si è ora in piedi dato un passo in avanti. (Nota come l'incertezza si espande perché il tuo passo avanti con gli occhi chiusi non è super preciso!)
3. Fase di aggiornamento: usa i sensori (ad es. Sentirsi in giro, ecc ...) per aggiornare le tue convinzioni su dove ti trovi.

RIPETERE!

Il meccanismo di probabilità richiesto per implementare è fondamentalmente solo una probabilità di base: regola di Bayes, calcolo della distribuzione marginale ecc ...

Idee altamente correlate che potrebbero aiutare a comprendere il quadro generale:

In un certo senso, i passaggi (1) e (2) sono comuni a qualsiasi problema di filtro bayesiano . Alcuni concetti altamente correlati di cui possibilmente leggere:

• Modello nascosto di Markov . Un processo è Markov se il passato è indipendente dal futuro dato lo stato attuale. Quasi tutte le serie temporali sono modellate come una sorta di processo Markov. Un modello nascosto di Markov è uno in cui lo stato non viene osservato direttamente (ad es. Non si osserva mai direttamente la posizione esatta del proprio razzo e si deduce invece la sua posizione attraverso un filtro bayesiano).
• Filtro Kalman . Questa è un'alternativa al filtro antiparticolato comunemente usato. È fondamentalmente un filtro bayesiano in cui si presume che tutto sia gaussiano multivariato.

Dovresti prima conoscere i modelli di spazio degli stati più facili da codificare e il filtro a forma chiusa (ad es. Filtri kalman, modelli markov nascosti). Matthew Gunn ha ragione sul fatto che puoi arrivare sorprendentemente lontano con concetti semplici, ma a mio modesto parere, dovresti renderlo un obiettivo intermedio perché:

1.) Relativamente parlando, ci sono più parti mobili nei modelli dello spazio degli stati. Quando apprendi SSM o modelli markov nascosti, c'è molta notazione. Ciò significa che ci sono più cose da tenere nella memoria di lavoro mentre giochi con la verifica delle cose. Personalmente, quando stavo imparando prima i filtri Kalman e gli SSM lineari gaussiani, in pratica pensavo "eh, sono solo proprietà dei vettori normali multivariati ... Devo solo tenere traccia di quale matrice è quale". Inoltre, se passi da un libro all'altro, cambiano spesso notazione.

Successivamente ci ho pensato come "eh, questa è solo la regola di Bayes in ogni momento". Una volta che ci pensi in questo modo capisci perché le famiglie coniugate sono carine, come nel caso del filtro Kalman. Quando codifichi un modello markov nascosto, con il suo spazio di stato discreto, vedi perché non devi calcolare alcuna probabilità e il filtraggio / smoothing è facile. (Penso che sto deviando dal gergo hmm conventuale qui.)

2.) Tagliare i denti sulla codifica di molti di questi ti farà capire quanto sia generale la definizione di un modello di spazio degli stati. Molto presto annoti i modelli che vuoi usare e allo stesso tempo vedrai perché non puoi. Per prima cosa vedrai che non puoi scriverlo in una di queste due forme a cui sei abituato. Quando ci pensi un po 'di più, scrivi la regola di Bayes e vedi che il problema è la tua incapacità di calcolare una sorta di probabilità per i dati.

Quindi alla fine non riuscirai a calcolare queste distribuzioni posteriori (livellando o filtrando le distribuzioni degli stati). Per occuparsene, ci sono un sacco di roba di filtro approssimativa là fuori. Il filtro antiparticolato è solo uno di questi. Il principale takeaway del filtraggio delle particelle: simuli da queste distribuzioni perché non puoi calcolarle.

Come si simula? La maggior parte degli algoritmi sono solo alcune varianti del campionamento di importanza. Ma diventa anche più complicato qui. Raccomando quel tutorial di Doucet e Johansen ( http://www.cs.ubc.ca/~arnaud/doucet_johansen_tutorialPF.pdf ). Se vedi come funziona il filtro a forma chiusa, introducono l'idea generale del campionamento per importanza, quindi l'idea generale del metodo monte carlo e poi ti mostrano come utilizzare queste due cose per iniziare con un esempio di serie temporali finanziarie. IMHO, questo è il miglior tutorial sul filtro antiparticolato che ho incontrato.

Oltre ad aggiungere due nuove idee al mix (campionamento di importanza e metodo monte carlo), ora c'è più notazione. Alcune densità da cui stai campionando da ora; alcuni stai valutando e quando li valuti, stai valutando a campioni. Il risultato, dopo aver codificato tutto, sono campioni ponderati, considerati particelle. Cambiano dopo ogni nuova osservazione. Sarebbe molto difficile raccogliere tutto in una volta. Penso che sia un processo.

Mi scuso se mi trovo criptico o handwavy. Questa è solo la cronologia della mia personale familiarità con l'argomento. Il post di Matthew Gunn probabilmente risponde più direttamente alla tua domanda. Ho appena pensato che avrei lanciato questa risposta.