Perché la funzione media nel processo gaussiano non è interessante?

Ho appena iniziato a leggere sui GP e analogo alla normale distribuzione gaussiana è caratterizzata da una funzione media e dalla funzione di covarianza o dal kernel. Ero a un discorso e l'oratore ha detto che la funzione media di solito è piuttosto poco interessante e tutto lo sforzo di deduzione è speso per stimare la corretta funzione di covarianza.

Qualcuno può spiegarmi perché dovrebbe essere così?

Penso di sapere a cosa stava parlando l'oratore. Personalmente non sono completamente d'accordo con lei / lui, e ci sono molte persone che non lo fanno. Ma per essere onesti, ci sono anche molti che lo fanno :) Prima di tutto, nota che specificare la funzione di covarianza (kernel) implica specificare una distribuzione precedente sulle funzioni. Semplicemente cambiando il kernel, le realizzazioni del processo gaussiano cambiano drasticamente, dalle funzioni molto lisce, infinitamente differenziabili, generate dal kernel esponenziale quadrato

al "appuntito", funzioni non differenziabili corrispondenti ad un kernel esponenziale (o kernel Matern con )$\nu=1/2$

$x^*$

$\mathbf{k}^*$$x^*$$x_1,\ldots,x_n$$K$$\sigma$$\sigma=0$$\mathbf{y}=(y_1,\ldots,y_n)$è il vettore delle osservazioni nel set di addestramento. Come puoi vedere, anche se la media del GP precedente è zero, la media predittiva non è affatto zero e, a seconda del kernel e del numero di punti di allenamento, può essere un modello molto flessibile, in grado di imparare estremamente modelli complessi.

Più in generale, è il kernel che definisce le proprietà di generalizzazione del GP. Alcuni kernel hanno la proprietà di approssimazione universale , cioè sono in linea di principio in grado di approssimare qualsiasi funzione continua su un sottoinsieme compatto, a qualsiasi tolleranza massima prespecificata, dati abbastanza punti di allenamento.

$k(x_i-x^*) \to 0$$\operatorname{dist}(x_i,x^*)\to\infty$$y^*\approx 0$

Ora, questo potrebbe avere senso nella tua applicazione: dopo tutto, è spesso una cattiva idea usare un modello basato sui dati per eseguire previsioni lontane dall'insieme di punti dati usati per addestrare il modello. Vedi qui per molti esempi interessanti e divertenti del perché questa può essere una cattiva idea. A questo proposito, il GP a media zero, che converge sempre a 0 lontano dal set di allenamento, è più sicuro di un modello (come ad esempio un modello polinomiale ortogonale multivariato di alto grado), che scaglierà felicemente previsioni follemente grandi non appena ti allontani dai dati di allenamento.

$x^*$

Non possiamo parlare a nome della persona che ha tenuto la lezione; forse l'oratore aveva un'idea diversa in mente quando l'oratore ha fatto questa affermazione. Tuttavia, nel caso in cui si stia tentando di costruire previsioni posteriori da un GP, ​​una funzione media costante ha una soluzione a forma chiusa che può essere calcolata esattamente. Tuttavia, nel caso di una funzione media più generale, è necessario ricorrere a metodi approssimativi, ad esempio la simulazione.

Inoltre, la funzione di covarianza controlla la rapidità (e dove) si verificano le deviazioni dalla funzione media, quindi spesso accade che una funzione di covarianza più flessibile / rigida possa essere "abbastanza buona" per approssimare una funzione media più elaborata - che garantisce nuovamente accesso alle proprietà di convenienza di una funzione media costante.

$y_t=c+\gamma y_{t-1}+e_t$$E[y_t]\equiv\mu=\frac{c}{1-\gamma}$

$c$$\gamma$

$x_i$$\mu(x_i)$

$x$

Per dirla semplicemente, la funzione media domina la funzione di covarianza per input "molto lontani" dalle osservazioni.
È un modo per iniettare le tue conoscenze precedenti nella macro dinamica del tuo sistema.