Qual è la logica della funzione di covarianza di Matérn?

La funzione di covarianza di Matérn è comunemente usata come funzione del kernel nel processo gaussiano. È definito così

$${\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}}$$

dove è una funzione di distanza (come la distanza euclidea), è la funzione gamma, è la funzione di Bessel modificata del secondo tipo, e sono parametri positivi. è molto tempo scelto per essere in pratica o .$d$$\Gamma$$K_\nu$$\rho$$\nu$$\nu$$\frac{3}{2}$$\frac{5}{2}$

Molto tempo questo kernel funziona meglio del kernel gaussiano standard in quanto è "meno fluido", ma a parte questo, ci sono altri motivi per cui uno preferirebbe questo kernel? Qualche intuizione geometrica su come si comporta, o qualche spiegazione della formula apparentemente criptica sarebbe molto apprezzata.

Oltre alla bella risposta di @DahnJahn, ho pensato di provare a dire qualcosa in più su da dove provengono le funzioni Bessel e gamma. Un punto di partenza per arrivare alla funzione di covarianza è il teorema di Bochner.

Teorema (Bochner) Una funzione stazionaria continua è definita positiva se e solo se è la trasformata di Fourier di una misura positiva finita: \ widetilde {k} (t) = \ int _ {\ mathbb {R}} e ^ {- iωt} dµ (ω)$k(x, y) = \widetilde{k}(|x − y|)$$\widetilde{k}$

$$\widetilde{k}(t) = \int_{\mathbb{R}} e^{−iωt}dµ(ω)$$

Da ciò si può dedurre che la matrice di covarianza di Matérn è derivata come trasformata di Fourier di (Fonte) . Va bene, ma in realtà non ci dice come si arriva a questa misura finita positiva data da . Bene, è la densità spettrale (di potenza) di un processo stocastico .$\frac{1}{(1+\omega^2)^p}$ $\frac{1}{(1+\omega^2)^p}$$f(x)$

Quale processo stocastico? È noto che un processo casuale su con una funzione di covarianza di Matérn è una soluzione all'equazione differenziale parziale stocastica (SPDE) dove è rumore bianco gaussiano con varianza unitaria, è l'operatore di Laplace, e (penso che questo sia in Cressie e Wikle ). ( κ 2 -∆ ) α / 2 X(s)= φ W(s),W(s)Δ= d ∑ i = 1 ∂ $\mathbb{R}^d$

$$(κ^2 − ∆)^{α/2} X(s) = φW(s),$$ $W(s)$ α=ν+d/ $$\Delta = \sum_{i=1}^d \frac{\partial^2}{\partial x^2_i}$$ $α =ν + d/2$

Perché scegliere questo particolare processo SPDE / stocastico? L'origine è nelle statistiche spaziali in cui si sostiene che sia la covarianza più semplice e naturale che funziona bene in :$\mathbb{R}^2$

La funzione di correlazione esponenziale è una correlazione naturale in una dimensione, poiché corrisponde a un processo di Markov. In due dimensioni ciò non è più così, sebbene l'esponenziale sia una funzione di correlazione comune nel lavoro geostatistico. Whittle (1954) determinò la correlazione corrispondente a un'equazione differenziale stocastica di tipo Laplace:

$$\left[ \left(\frac{\partial}{\partial t_1}\right)^2 + \left(\frac{\partial}{\partial t_2}\right)^2 - \kappa^2 \right] X(t_1, t_2) = \epsilon(t_1 , t_2)$$ dove è rumore bianco. Il corrispondente processo reticolare discreto è un autoregressione di secondo ordine. (Fonte)$\epsilon$

La famiglia di processi inclusa in SDE associata all'equazione di Matern include il modello Ornstein-Uhlenbeck della velocità di una particella che subisce un moto browniano. Più in generale, è possibile definire uno spettro di potenza per una famiglia di processi per ogni numero intero che ha anche una covarianza della famiglia Matérn. Questo è nell'appendice di Rasmussen e Williams.A R ( p ) $AR(1)$$AR(p)$$p$

Questa funzione di covarianza non è correlata al processo del cluster Matérn.

Riferimenti

Cressie, Noel e Christopher K. Wikle. Statistiche per dati spazio-temporali. John Wiley & Sons, 2015.

Guttorp, Peter e Tilmann Gneiting. "Studi nella storia della probabilità e delle statistiche XLIX Sulla famiglia di correlazione di Matern." Biometrika 93.4 (2006): 989-995.

Rasmussen, CE e Williams, CKI Processi gaussiani per l'apprendimento automatico. la stampa del MIT, 2006.

Non lo so, ma ho trovato questa domanda molto interessante ed ecco cosa ho ottenuto dopo averlo letto un po '.

Per alcuni valori di , la funzione di covarianza di Matérn può essere espressa come prodotto di un esponenziale e di un polinomio. Ad esempio per : Non sorprende quindi che, dato che , converge effettivamente al gaussiano RBF : Per , la funzione di covarianza di Matérn fornisce il kernel esponenziale assoluto $\nu$$\nu = 5/2$

$$C_{5/2}(d) = \sigma^2\left(1 + \frac{\sqrt 5 d}{\rho} + \frac{5d^2}{3\rho^2} \right) \exp \left(- \frac{\sqrt 5 d}{\rho}\right)$$ $\nu \to \infty$$C_\nu$ $$\lim_{\nu \to \infty} C_\nu(d) = \sigma^2 \exp \left( -\frac{d^2}{2\rho^2}\right)$$ $\nu = 1/2$ $$C_{1/2}(d) = \sigma^2 \exp\left( -\frac{d}{\rho} \right)$$

Inoltre, un processo gaussiano con la funzione di covarianza di Matérn con parametro è time differenziabile .$\nu$$\lceil \nu \rceil -1$

Questo è abbastanza ben dimostrato in una foto tratta da Rasmussen & Williams (2006)

In Interpolazione di dati spaziali , Stein (che in realtà ha proposto il nome della funzione di covarianza di Matérn), sostiene (pag. 30) che l'infinita differenziabilità della funzione di covarianza gaussiana produce risultati non realistici per i processi fisici, poiché l'osservazione di una piccola frazione continua di lo spazio / tempo dovrebbe, in teoria, cedere l'intera funzione. Ha quindi proposto la versione di Matérn come una generalizzazione che è in grado di abbinare i processi fisici in modo più realistico.

Sommario

La funzione di covarianza di Matérn può essere vista come una generalizzazione della funzione di base radiale gaussiana . Contiene anche il kernel esponenziale assoluto, che dà risultati radicalmente diversi ed è in grado di catturare meglio i processi fisici grazie alla sua differenziabilità finita (per finito ).$\nu$

Per quanto riguarda la misteriosità dell'apparizione della funzione di Bessel, mi piacerebbe vedere un'ulteriore intuizione dietro a ciò, ma immagino che sia proprio il suo comportamento (asintotico) in renderlo utile in questo contesto e portare Stein a definire la funzione di covarianza di Matérn. Ciò ovviamente non esclude la possibilità che esista una bella argomentazione sul perché tutto ciò sia vero.$\nu$