Che cos'è una distribuzione sulle funzioni?

Sto leggendo un manuale Gaussian Process for Machine Learning di CE Rasmussen e CKI Williams e non riesco a capire cosa significhi distribuzione su funzioni . Nel libro di testo, viene fornito un esempio, che si dovrebbe immaginare una funzione come un vettore molto lungo (in effetti, dovrebbe essere infinitamente lungo?). Quindi immagino che una distribuzione su funzioni sia una distribuzione di probabilità disegnata "sopra" tali valori vettoriali. Sarebbe quindi una probabilità che una funzione prenda questo particolare valore? O sarebbe una probabilità che una funzione prenda un valore compreso in un determinato intervallo? Oppure la distribuzione sulle funzioni è una probabilità assegnata a un'intera funzione?

Citazioni dal libro di testo:

Capitolo 1: Introduzione, pagina 2

Un processo gaussiano è una generalizzazione della distribuzione di probabilità gaussiana. Mentre una distribuzione di probabilità descrive variabili casuali che sono scalari o vettori (per distribuzioni multivariate), un processo stocastico governa le proprietà delle funzioni. Lasciando da parte la sofisticazione matematica, si può vagamente pensare a una funzione come a un vettore molto lungo, ogni voce nel vettore che specifica il valore della funzione f (x) in un particolare input x. Si scopre che, sebbene questa idea sia un po 'ingenua, è sorprendentemente vicino a ciò di cui abbiamo bisogno. In effetti, la questione di come trattiamo computazionalmente con questi oggetti di dimensione infinita ha la risoluzione più piacevole che si possa immaginare: se si chiedono solo le proprietà della funzione in un numero finito di punti,

Capitolo 2: Regressione, pagina 7

Esistono diversi modi per interpretare i modelli di regressione del processo gaussiano (GP). Si può pensare a un processo gaussiano come a definire una distribuzione su funzioni e inferenze che avvengono direttamente nello spazio di funzioni, la vista spazio-funzione.

Dalla domanda iniziale:

Ho realizzato questo quadro concettuale per provare a visualizzarlo da solo. Non sono sicuro che tale spiegazione che ho fatto per me stesso sia corretta.

Dopo l'aggiornamento:

Dopo la risposta di Gijs ho aggiornato l'immagine per essere concettualmente più simile a questa:

Il concetto è un po 'più astratto di una normale distribuzione. Il problema è che siamo abituati al concetto di una distribuzione su $\mathbb{R}$ , in genere mostrato come una linea, e quindi lo espandiamo su una superficie $\mathbb{R}^2$ , e così via sulle distribuzioni su $\mathbb{R}^n$ . Ma lo spazio delle funzioni non può essere rappresentato come un quadrato, una linea o un vettore. Non è un crimine pensarlo in quel modo, come fai tu, ma la teoria che funziona in $\mathbb{R}^n$ , che ha a che fare con distanza, quartieri e simili (questa è conosciuta come la topologia dello spazio), non è la stessa cosa nella spazio di funzioni. Quindi disegnarlo come un quadrato può darti intuizioni sbagliate su quello spazio.

Puoi semplicemente pensare allo spazio delle funzioni come a una grande raccolta di funzioni, forse una borsa di cose se vuoi. La distribuzione qui ti dà quindi le probabilità di disegnare un sottoinsieme di quelle cose. La distribuzione dirà: la probabilità che il prossimo sorteggio (di una funzione) sia in questo sottoinsieme, è, ad esempio, il 10%. Nel caso di un processo gaussiano su funzioni in due dimensioni, potresti chiedere, dato xun intervallo di coordinate e un intervallo diy-valori, questo è un piccolo segmento di linea verticale, qual è la probabilità che una funzione (casuale) passi attraverso questa piccola linea? Sarà una probabilità positiva. Quindi il processo gaussiano specifica una distribuzione (di probabilità) su uno spazio di funzioni. In questo esempio, il sottoinsieme dello spazio di funzioni è il sottoinsieme che passa attraverso il segmento di linea.

$\mathbb{R}$

La tua domanda è già stata posta e ha ricevuto un'ottima risposta sul sito Mathematics SE:

/math/2297424/extending-a-distribution-over-samples-to-a-distribution-over-functions

Sembra che tu non abbia familiarità con i concetti di misure gaussiane su spazi infiniti dimensionali , funzionali lineari, misure pushforward, ecc. Quindi proverò a renderlo il più semplice possibile.

$L^2([0,1])$$I=[0,1]$$\mathbb{R}$$\mathbb{R}^n$$L^2$

Tuttavia, esiste anche un semplice "trucco" basato sul teorema di estensione di Kolmogorov , che è fondamentalmente il modo in cui i processi stocastici vengono introdotti nella maggior parte dei corsi di probabilità che non sono fortemente teorici di misura. Ora sarò molto mosso e non rigoroso, e mi limiterò al caso dei processi gaussiani. Se desideri una definizione più generale, puoi leggere la risposta sopra o cercare il link Wikipedia. Il teorema di estensione di Kolmogorov, applicato al tuo caso d'uso specifico, afferma più o meno quanto segue:

• $S_n=\{ t_1, \dots ,t_n\} \subset I$$\mathbf{x}_n=(x(t_1),\dots,x(t_n))$
• $S_n, S_m, \enspace S_n\subset S_m$$f_{S_n}(x_1,\dots,x_n)$$f_{S_m}(x_1,\dots,x_{n},x_{n+1},\dots,x_m)$$f_{S_m}$$S_m$$S_n$$f_{S_n}$

• $X$$L^2$$S_n$$n$

Il teorema attuale è ampiamente più generale, ma immagino che questo sia quello che stavi cercando.