Quanto sono diverse le spline cubiche ristrette e le spline penalizzate?

Sto leggendo molto sull'uso delle spline in vari problemi di regressione. Alcuni libri (ad esempio modelli lineari riccamente Parrameterizzati di Hodges ) raccomandano spline penalizzate. Altri (es. Harrell Regression Modeling Strategies ) optano per spline cubiche ristrette.

Quanto sono diversi, in pratica? Otterresti spesso risultati sostanzialmente diversi dall'usare l'uno o l'altro? L'uno o l'altro ha dei vantaggi particolari?

Dalla mia lettura, i due concetti che ci chiedi di confrontare sono bestie abbastanza diverse e richiederebbero un confronto simile a mele e arance. Questo rende molte delle tue domande un po 'discutibili - idealmente (supponendo che si possa scrivere una penalità di oscillazione per la base RCS nel modulo richiesto) si dovrebbe usare un modello spline di regressione cubica limitato penalizzato.

Spline cubiche limitate

Una spline cubica ristretta (o una spline naturale) è una base spline costruita da funzioni polinomiali cubiche a tratti che si uniscono uniformemente in alcune posizioni predefinite o nodi. Ciò che distingue una spline cubica ristretta da una spline cubica è che vengono imposti ulteriori vincoli sulla versione limitata in modo tale che la spline sia lineare prima del primo nodo e dopo l'ultimo nodo. Questo viene fatto per migliorare le prestazioni della spline nelle code di .$X$

La selezione del modello con un RCS comporta in genere la scelta del numero di nodi e della loro posizione, con il primo che governa quanto sia ondulata o complessa la spline risultante. A meno che non siano in atto ulteriori passaggi per regolarizzare i coefficienti stimati durante l'adattamento del modello, il numero di nodi controlla direttamente la complessità della spline.

Ciò significa che l'utente ha alcuni problemi da superare durante la stima di un modello contenente uno o più termini RCS:

1. Quanti nodi usare ?,
2. Dove posizionare quei nodi nell'arco di ?,$X$
3. Come confrontare i modelli con diversi numeri di nodi?

Da soli, i termini RCS richiedono l'intervento dell'utente per risolvere questi problemi.

Spline penalizzate

Spline di regressione penalizzate (sensu Hodges) solo sulla propria questione di attrezzatura 3. , ma consentono di aggirare la questione 1 .. L'idea qui è che oltre all'espansione di base di , e per ora supponiamo che si tratti di una base di spline cubica, crei anche una matrice di penalità di oscillazione. Wiggliness viene misurata utilizzando alcuni derivati della spline stimata, con la tipica derivato utilizzato è la derivata seconda, e la sanzione stessa rappresenta la derivata seconda quadrata integrato nella gamma di . Questa penalità può essere scritta in forma quadratica come$X$$X$

$$\boldsymbol{\beta}^{\mathsf{T}} \boldsymbol{S} \boldsymbol{\beta}$$

dove è una matrice di penalità e sono i coefficienti del modello. Quindi si trovano i valori dei coefficienti per massimizzare la certezza log-verosimile$\boldsymbol{S}$$\boldsymbol{\beta}$$\mathcal{L}_p$

$$\mathcal{L}_p = \mathcal{L} - \lambda \boldsymbol{\beta}^{\mathsf{T}} \boldsymbol{S} \boldsymbol{\beta}$$

dove è la probabilità logaritmica del modello e è il parametro smoothness, che controlla quanto fortemente penalizzare la fluttuazione della spline.$\mathcal{L}$$\lambda$

Poiché la probabilità logaritmica penalizzata può essere valutata in termini di coefficienti del modello, l'adattamento di questo modello diventa effettivamente un problema nel trovare un valore ottimale per mentre si aggiornano i coefficienti durante la ricerca di tale ottimale .$\lambda$$\lambda$

$\lambda$ può essere scelto usando la validazione incrociata, la validazione incrociata generalizzata (GCV) o la probabilità marginale o i criteri di probabilità marginale limitata. Gli ultimi due hanno effettivamente rifuso il modello di spline come un modello di effetti misti (le parti perfettamente lisce della base diventano effetti fissi e le parti fluttuanti della base sono effetti casuali, e il parametro smoothness è inversamente correlato al termine varianza per gli effetti casuali ), che è ciò che Hodges sta prendendo in considerazione nel suo libro.

Perché questo risolve il problema di quanti nodi usare? Bene, lo fa solo un po '. Ciò risolve il problema di non richiedere un nodo in ogni punto dati univoco (una spline di livellamento), ma è comunque necessario scegliere quanti nodi o funzioni di base utilizzare. Tuttavia, poiché la penalità riduce i coefficienti, è possibile cavarsela scegliendo una dimensione di base così grande come si ritiene sia necessaria per contenere la funzione reale o una sua approssimazione ravvicinata, e quindi si lascia che la penalità controlli il modo in cui la spline stimata si sposta alla fine è, con l'ulteriore potenziale oscillazione disponibile nella base che viene rimosso o controllato dalla penalità.

Confronto

Spline penali (regressione) e RCS sono concetti abbastanza diversi. Non c'è nulla che ti impedisca di creare una base RCS e una penalità associata in forma quadratica e quindi stimare i coefficienti di spline utilizzando le idee dal modello di spline di regressione penalizzata.

RCS è solo un tipo di base che è possibile utilizzare per creare una base spline e le spline di regressione penalizzate sono un modo per stimare un modello contenente una o più spline con penalità di oscillazione associate.

Possiamo evitare i problemi 1., 2. e 3.?

Sì, in una certa misura, con una base spline a piastra sottile (TPS). Una base TPS ha il maggior numero di funzioni di base come valori di dati univoci in . Ciò che Wood (2003) ha dimostrato è che è possibile creare una base TPRS ( Thin Plate Regression Spline) utilizzando una composizione eigend delle funzioni di base TPS e mantenendo solo il primo più grande. Devi ancora specificare$X$$k$$k$, il numero di funzioni di base che si desidera utilizzare, ma la scelta si basa in genere su quanto ci si aspetta che la funzione adattata sia e su quanto colpo computazionale si è disposti a subire. Non è necessario specificare nemmeno le posizioni dei nodi e la penalità riduce i coefficienti in modo da evitare il problema di selezione del modello in quanto si ha un solo modello penalizzato, non molti non aperti con un diverso numero di nodi.

P-splines

Solo per rendere le cose più complicate, esiste un tipo di base spline nota come P-spline (Eilers & Marx, 1996)), in cui la viene spesso interpretata come "penalizzata". Le spline P sono una base B-spline con una penalità di differenza applicata direttamente ai coefficienti del modello. Nell'uso tipico la penalità P-spline penalizza le differenze al quadrato tra i coefficienti del modello adiacente, che a sua volta penalizza la fluttuazione. Le spline P sono molto facili da configurare e danno luogo a una matrice di penalità sparsa che le rende molto suscettibili alla stima dei termini della spline nei modelli bayesiani basati su MCMC (Wood, 2017).$P$

Riferimenti

Eilers, PHC e BD Marx. 1996. Smoothing flessibile con -splines e sanzioni. Statistica. Sci.

Legno, SN 2003. Spline di regressione a piastra sottile. JR Stat. Soc. Serie B Stat. Methodol. 65: 95-114. DOI: 10.1111 / 1467-9.868,00374

Wood, SN 2017. Modelli di additivi generalizzati: un'introduzione con R, seconda edizione, CRC Press.