B-Splines VS polinomi di alto ordine in regressione

Non ho in mente un esempio o un compito specifico. Sono appena nuovo sull'uso di b-splines e volevo capire meglio questa funzione nel contesto della regressione.

Supponiamo di voler valutare la relazione tra la variabile di risposta e alcuni predittori . I predittori includono alcune variabili numeriche e anche alcune categoriali.$y$$x_1, x_2,...,x_p$

Diciamo che dopo aver inserito un modello di regressione, una delle variabili numeriche, ad esempio è significativa. Un passo logico in seguito è valutare se sono necessari polinomi di ordine superiore, ad esempio: e per spiegare adeguatamente la relazione senza un eccesso di adattamento.$x_1$$x_1^2$$x_1^3$

Le mie domande sono:

1. A che punto hai scelto tra le b-spline o il semplice polinomio di ordine superiore. ad es. in R:

   y ~ poly(x1,3) + x2 + x3
   

   vs

    y ~ bs(x1,3) + x2 + x3
   

2. Come puoi usare i grafici per informare la tua scelta tra quei due e cosa succede se non è davvero chiaro dai grafici (ad es. A causa di enormi quantità di punti dati)

3. Come valuteresti i termini di interazione bidirezionale tra e diciamo$x_2$$x_3$

4. In che modo cambia quanto sopra per diversi tipi di modelli

5. Considereresti di non usare mai polinomi di alto ordine e di montare sempre b-spline e penalizzare l'elevata flessibilità?

Di solito considererei solo spline piuttosto che polinomi. I polinomi non possono modellare soglie e sono spesso indesiderabilmente globali, vale a dire che le osservazioni su un intervallo del predittore hanno una forte influenza su ciò che il modello fa su un intervallo diverso ( Magee, 1998, The American Statistician e Frank Harrell's Regression Modeling Strategies ). E, naturalmente, le spline ristrette che sono lineari al di fuori dei nodi estremi sono migliori per l'estrapolazione o persino per l'intrapolazione a valori estremi dei predittori.

Un caso in cui potresti voler prendere in considerazione i polinomi è quando è importante spiegare il tuo modello a un pubblico non tecnico. Le persone capiscono i polinomi meglio delle spline. (Modifica: Matthew Drury sottolinea che le persone possono solo pensare di capire i polinomi meglio delle spline. Non mi schierò dalla parte di questa domanda.)

Le trame spesso non sono molto utili per decidere tra diversi modi di affrontare la non linearità. Meglio fare la validazione incrociata. Questo ti aiuterà anche a valutare le interazioni o a trovare una buona penalità.

Infine, la mia risposta non cambia con il tipo di modello, perché i punti sopra riportati sono validi per qualsiasi modello statistico o ML.

Nella sezione 7.4.5 di "Gli elementi dell'apprendimento statistico", si dice che le spline spesso danno risultati superiori alla regressione polinomiale, perché:

• Produce accoppiamenti flessibili;
• Produce stime più stabili;
• I polinomi possono produrre risultati indesiderati ai confini.