Dati due modelli di regressione lineare, quale modello avrebbe prestazioni migliori?

Ho seguito un corso di apprendimento automatico nel mio college. In una delle domande, questa domanda è stata posta.

Modello 1:

$$y = \theta x + \epsilon$$ Modello 2: $$y = \theta x + \theta^2 x + \epsilon$$

Quale dei modelli di cui sopra si adatterebbe meglio ai dati? (supponiamo che i dati possano essere modellati usando la regressione lineare)

La risposta corretta (secondo il professore) è che entrambi i modelli funzionerebbero ugualmente bene. Tuttavia, credo che il primo modello sarebbe più adatto.

Questa è la ragione dietro la mia risposta. Il secondo modello, che può essere riscritto come $\alpha x + \epsilon$ , $\alpha = \theta + \theta^2$ non sarebbe lo stesso del primo modello. $\alpha$ è in effetti una parabola e quindi ha un valore minimo ( $-0.25$ in questo caso). Ora, per questo motivo, l'intervallo di $\theta$ nel primo modello è maggiore dell'intervallo di $\alpha$ nel secondo modello. Quindi se i dati fossero tali che l'adattamento migliore avesse una pendenza inferiore a $-0.25$ , il secondo modello avrebbe prestazioni molto scarse rispetto al primo. Tuttavia, nel caso in cui la pendenza della misura migliore fosse maggiore di$-0.25$ , entrambi i modelli avrebbero prestazioni ugualmente buone.

Quindi il primo è migliore o sono entrambi uguali?

Il modello 2 può essere scritto come: Questo sembra simile al modello 1, solo con una diversa notazione per gli iperparametri ( θ , β ). Tuttavia, per il modello 1 possiamo scrivere θ = (

$$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$$ $\theta, \beta$
$$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$$

Ma dal momento che nel modello 2 abbiamo che allora come lei ha ricordato infatti la gamma di β dovrebbe appartenere a [ - 0,25 , + ∞

$$\beta=\theta + \theta^{2},$$ $\hat{\beta}$$[-0.25,+\infty]$ per . Il che porterà alla differenza in questi 2 modelli.$\theta \in R$

Così nel modello 2 si vincola la stima dei coefficienti differenza modello 1. Per rendere questo più chiaro, va notato che in modello è ottenuto minimizzando la funzione di perdita quadrato θ = arg min θ ∈ R ( y - X θ $\hat{\theta}$ Tuttavia nel modello 2, la stima è ottenuta attraverso β =arg min β ≥ - 0,25 (

$$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$$ $$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$$ che potrebbe portare a un risultato diverso.

Non sono sicuro di aver capito il tuo ragionamento. Se prendi:

e y = θ x +

$$y = \alpha x+\epsilon$$ $$y = \theta x + \epsilon$$

$\alpha$$\theta$$\alpha$$\theta$$R^2$$\theta$$\alpha = \theta + \theta^2$ , ma questo non ha nulla a che fare con l'adattamento.