La definizione spline cubiche naturali per la regressione

16

Sto imparando le spline dal libro "Elementi di apprendimento statistico Data mining, inferenza e previsione" di Hastie et al. Ho trovato a pagina 145 che le spline cubiche naturali sono lineari oltre i nodi di confine. Ci sono $K$ nodi, $\xi_1, \xi_2, ... \xi_K$ nelle spline e quanto segue è dato su tale spline nel libro.

Domanda 1: Come vengono liberati 4 gradi di libertà? Non capisco questa parte.

Domanda 2 : nella definizione di $d_k(X)$ quando $k=K$ quindi $d_K(X) = \frac 0 0$ . Cosa sta cercando di fare l'autore in questa formula? In che modo aiuta a garantire che le spline siano lineari oltre i nodi di confine?

— Durin
fonte

17

Cominciamo considerando le normali spline cubiche. Sono cubi tra ogni coppia di nodi e cubi al di fuori dei nodi di confine. Iniziamo con 4df per il primo cubo (a sinistra del primo nodo perimetrale) e ogni nodo aggiunge un nuovo parametro (perché la continuità di spline cubiche e derivate e secondi derivati aggiunge tre vincoli, lasciando un parametro libero), per un totale di parametri per $K+4$ $K$ nodi.

Una spline cubica naturale è lineare su entrambe le estremità. Ciò limita le parti cubiche e quadratiche lì a 0, ciascuna delle quali riduce df di 1. Questo è 2 df a ciascuna delle due estremità della curva, riducendo a $K+4$ $K$ .

Immagina di decidere di poter dedicare un numero totale di gradi di libertà ( , diciamo) alla stima della curva non parametrica. Poiché l'imposizione di una spline naturale utilizza 4 gradi in meno di libertà rispetto a una normale spline cubica (per lo stesso numero di nodi), con quelle $p$ $p$ parametri puoi avere 4 nodi in più (e quindi 4 più parametri) per modellare la curva tra i nodi di confine .
Si noti che la definizione di è per (poiché ci sono funzioni base in tutto). Quindi l'ultima funzione di base in quell'elenco, . Quindi il più alto necessario per le definizioni di è per $N_{k+2}$ $k=1,2,...,K-2$ $K$ $N_{K}=d_{K-2}-d_{K-1}$ $k$ $d_k$ $k=K-1$ . (Cioè, non abbiamo bisogno di provare a capire cosa alcuni potrebbe fare, dal momento che non lo usiamo.) $d_K$

— Glen_b -Restate Monica
fonte

4

$2$ $\xi_1, \xi_2$ $]-\infty, \xi_1[$ $]\xi_1, \xi_2[$ $]\xi_2, +\infty[$ $|I|=3$ $|I|-1=2$ nodi).

Per spline cubiche (comuni)

$4|I|=12$

1 (X < ξ_{1}); 1 (X < ξ_{1}) X; 1 (X < ξ_{1}) X^{2}; 1 (X < ξ_{1}) X^{3};

$\mathbf{1}(X < \xi_1)~~;~~\mathbf{1}(X < \xi_1)X~~;~~\mathbf{1}(X < \xi_1)X^2~~;~~\mathbf{1}(X < \xi_1)X^3~~;$

1 (ξ_{1} \leq X < ξ_{2}); 1 (ξ_{1} \leq X < ξ_{2}) X; 1 (ξ_{1} \leq X < ξ_{2}) X^{2}; 1 (ξ_{1} \leq X < ξ_{2}) X^{3};

$\mathbf{1}(\xi_1 \leq X < \xi_2)~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^2~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^3~~;$

1 (ξ_{2} \leq X); 1 (ξ_{2} \leq X) X; 1 (ξ_{2} \leq X) X^{2}; 1 (ξ_{2} \leq X) X^{3} .

$\mathbf{1}(\xi_2 \leq X)~~;~~\mathbf{1}(\xi_2 \leq X)X~~;~~\mathbf{1}(\xi_2 \leq X)X^2~~;~~\mathbf{1}(\xi_2 \leq X)X^3.$

$\mathcal{C}^r$ $r=2$ $(r+1)\times(|I|-1) = 3\times(|I|-1) = 6$

$12-6=6$

Per spline cubiche naturali

"Una spline cubica naturale aggiunge ulteriori vincoli, vale a dire che la funzione è lineare oltre i nodi di confine."

$4|I|-4=12-4$ $4$ $2$

1 (X < ξ_{1}); 1 (X < ξ_{1}) X;

$\mathbf{1}(X < \xi_1)~~;~~\mathbf{1}(X < \xi_1)X~~;~~$

1 (ξ_{1} \leq X < ξ_{2}); 1 (ξ_{1} \leq X < ξ_{2}) X; 1 (ξ_{1} \leq X < ξ_{2}) X^{2}; 1 (ξ_{1} \leq X < ξ_{2}) X^{3};

$\mathbf{1}(\xi_1 \leq X < \xi_2)~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^2~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^3~~;$

1 (ξ_{2} \leq X); 1 (ξ_{2} \leq X) X .

$\mathbf{1}(\xi_2 \leq X)~~;~~\mathbf{1}(\xi_2 \leq X)X.$

$3\times(|I|-1) = 6$

$8-6=2$

— ahstat
fonte