Splines vs regressione del processo gaussiana

14

So che la regressione del processo gaussiana (GPR) è un'alternativa all'utilizzo di spline per il montaggio di modelli non lineari flessibili. Vorrei sapere in quali situazioni uno sarebbe più adatto dell'altro, specialmente nel quadro della regressione bayesiana.

Ho già esaminato Quali sono i vantaggi / gli svantaggi dell'utilizzo di spline, spline levigate ed emulatori di processo gaussiani? ma non sembra esserci nulla su GPR in questo post.

— ved
fonte

Direi che GP è un approccio più guidato dai dati per adattare una funzione non lineare. Le spline sono in genere limitate all'ennesimo polinomio. I medici di base possono modellare funzioni più complesse dei polinomi (non sicuro al 100%).

— Vladislavs Dovgalecs,

14

Sono d'accordo con la risposta di @j __.

Tuttavia, vorrei sottolineare il fatto che le spline sono solo un caso speciale di regressione / kriging del processo gaussiano .

Se si prende un certo tipo di kernel nella regressione del processo gaussiana, si ottiene esattamente il modello di adattamento della spline.

Questo fatto è dimostrato in questo articolo di Kimeldorf e Wahba (1970) . È piuttosto tecnico, in quanto utilizza il collegamento tra i kernel utilizzati nel kriging e nella riproduzione di Kernel Hilbert Spaces (RKHS).

— Pop
fonte

2

Ad esempio, nel caso monodimensionale, il modello GP per la famosa spline di livellamento è semplicemente un rumore bianco gaussiano doppiamente integrato. Questo è stato usato da Craig Ansley e Robert Kohn per progettare algoritmi efficienti alla fine degli anni '80. Credo che questa equivalenza possa essere parzialmente compresa senza immergersi nella matematica profonda di RKHS.

— Yves,

Questa è un'ottima risposta

— Astrid,

6

È una domanda molto interessante: l'equivalente tra processi gaussiani e spline leviganti è stato mostrato a Kimeldorf e Wahba 1970. La generalizzazione di questa corrispondenza nel caso di interpolazione limitata è stata sviluppata in Bay et al. Il 2016.

Bay et al. 2016. Generalizzazione della corrispondenza Kimeldorf-Wahba per interpolazione limitata. Giornale elettronico di statistica.

In questo documento è stato discusso il vantaggio dell'approccio bayesiano.

— maatouk Hassan
fonte

2

Concordo con il commento di @xeon anche GPR mette una distribuzione di probabilità su un numero infinito di possibili funzioni e la funzione media (che è simile alla spline) è solo la stima MAP ma si ha anche una varianza al riguardo. Ciò consente grandi opportunità come la progettazione sperimentale (scelta dei dati di input che è al massimo informativo). Inoltre, se vuoi eseguire l'integrazione (quadratura) del modello, un GP avrà un risultato gaussiano che ti permetterà di dare fiducia al tuo risultato. Almeno con i modelli standard di spline questo non è possibile.

In pratica, GPR fornisce un risultato più informativo (nella mia esperienza) ma i modelli di spline sembrano essere più veloci nella mia esperienza.

— j__
fonte