Regressione polinomiale usando scikit-learn

Sto cercando di usare scikit-learn per la regressione polinomiale. Da quello che leggo la regressione polinomiale è un caso speciale di regressione lineare. Stavo pensando che forse uno dei modelli lineari generalizzati di scikit possa essere parametrizzato per adattarsi a polinomi di ordine superiore ma non vedo alcuna opzione per farlo.

Sono riuscito a usare un Support Vector Regressor con un poli kernel. Funzionava bene con un sottoinsieme dei miei dati, ma ci vuole molto a adattarsi a set di dati più grandi, quindi ho ancora bisogno di trovare qualcosa di più veloce (anche se scambiando un po 'di precisione).

Mi sto perdendo qualcosa di ovvio qui?

Dati dati , un vettore di colonna e , il vettore di destinazione, è possibile eseguire la regressione polinomiale aggiungendo i polinomi di . Ad esempio, considera se$\mathbf{x}$$\mathbf{y}$$\mathbf{x}$

$$\mathbf{x} = \begin{bmatrix} 2 \\[0.3em] -1 \\[0.3em] \frac{1}{3} \end{bmatrix}$$

L'uso di questo vettore nella regressione lineare implica il modello:

$$y = \alpha_1 x$$

Possiamo aggiungere colonne che sono potenze del vettore sopra, che rappresentano l'aggiunta di polinomi alla regressione. Di seguito viene mostrato questo per i polinomi fino alla potenza 3:

$$X = \begin{bmatrix} 2 & 4 & 8 \\[0.3em] -1 & 1 & -1 \\[0.3em] \frac{1}{3} & \frac{1}{3^2} & \frac{1}{3^3} \end{bmatrix}$$

Questa è la nostra nuova matrice di dati che utilizziamo nella regressione lineare di sklearn e rappresenta il modello:

$$y = \alpha_1 x + \alpha_2x^2 + \alpha_3x^3$$

---

Nota che non ho aggiunto un vettore costante di , poiché sklearn lo includerà automaticamente.$1$

Teoria

La regressione polinomiale è un caso speciale di regressione lineare. Con l'idea principale di come selezionare le funzionalità. Guardando la regressione multivariata con 2 variabili: x1e x2. La regressione lineare sarà simile a questa:y = a1 * x1 + a2 * x2.

Ora vuoi avere una regressione polinomiale (facciamo un polinomio di 2 gradi). Creeremo alcune caratteristiche aggiuntive: x1*x2, x1^2e x2^2. Quindi avremo la tua "regressione lineare":

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

Ciò mostra benissimo un importante concetto di maledizione della dimensionalità , perché il numero di nuove funzionalità cresce molto più velocemente che linearmente con la crescita del grado di polinomio. Puoi dare un'occhiata a questo concetto qui .

Fai pratica con scikit-learn

Non è necessario fare tutto questo in Scikit. La regressione polinomiale è già disponibile lì (nella versione 0.15 . Controlla come aggiornarlo qui ).

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [[0.49, 0.18]]
#Edit: added second square bracket above to fix the ValueError problem

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)

Nel caso in cui si stia utilizzando una regressione multivariata e non solo una regressione univariata, non dimenticare i termini incrociati. Ad esempio se hai due variabili e e vuoi polinomi fino alla potenza 2, dovresti usare dove l'ultimo termine ( ) è quello che sono parlare di.$x_1$$x_2$$y = a_1x_1 + a_2x_2 + a_3x_1^2 + a_4x_2^2 + a_5x_1x_2$$a_5x_1x_2$