Derivazione della funzione di costo di regressione lineare regolarizzata per corso di apprendimento automatico Coursera

12

Ho seguito il corso "Machine Learning" di Andrew Ng via Coursera qualche mese fa, non prestando attenzione alla maggior parte della matematica / derivazioni e concentrandomi invece sull'implementazione e sulla praticità. Da allora ho iniziato a studiare alcune delle teorie di base e ho rivisitato alcune lezioni del Prof. Ng. Stavo leggendo la sua lezione su "Regressione lineare regolarizzata" e ho visto che ha dato la seguente funzione di costo:

J (θ) = \frac{1}{2 m} [\sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}]

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

Quindi, fornisce il seguente gradiente per questa funzione di costo:

\frac{\partial}{\partial θ_{j}} J (θ) = \frac{1}{m} [Σ_{io = 1}^{m} (h_{θ} (X^{(io)}) - y^{(io)}) X_{j}^{(io)} - λ θ_{j}]

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j]$

Sono un po 'confuso su come si passa dall'uno all'altro. Quando ho provato a fare la mia derivazione, ho avuto il seguente risultato:

\frac{\partial}{\partial θ_{j}} J (θ) = \frac{1}{m} [Σ_{io = 1}^{m} (h_{θ} (X^{(io)}) + y^{(io)}) X_{j}^{(io)} + λ θ_{j}]

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j]$

La differenza è il segno "più" tra la funzione di costo originale e il parametro di regolarizzazione nella formula del Prof. Ng che si trasforma in un segno "meno" nella sua funzione di gradiente, mentre ciò non accade nel mio risultato.

Intuitivamente capisco perché è negativo: stiamo riducendo il parametro theta della figura del gradiente e vogliamo che il parametro di regolarizzazione riduca la quantità che stiamo cambiando il parametro per evitare un eccesso di adattamento. Sono solo un po 'bloccato sul calcolo che sostiene questa intuizione.

Cordiali saluti, puoi trovare il mazzo qui , nelle diapositive 15 e 16.

regression self-study

— wellington
fonte

1

Nel tuo risultato hai un " + " che precede la y ^ (i) - è un refuso?

— Steve S,

12

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

Adesso

$\frac{\partial}{\partial \theta_j}(h_\theta (x^{(i)}) - y^{(i)})^2=2[(h_\theta (x^{(i)}) - y^{(i)})\frac{\partial}{\partial \theta_j}\{h_\theta(x^{(i)})\}]$

$\frac{\partial}{\partial \theta_j}(h_\theta(x^{(i)})=[x^{(i)}]_j$

$\frac{\partial}{\partial \theta_j}\lambda\sum_{j=1}^n\theta^2=2\lambda\theta_j$

Quindi per il caso lineare

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j + \lambda\theta_j]$

Sembra che sia tu che Andrew potreste avere errori di battitura. Bene, almeno due di noi tre sembrano.

— Glen_b -Restate Monica
fonte

è confermato, solo un refuso sulla nota di Andrew, dovrebbe essere un segno +. E Prof spiega correttamente tutto, compresa l'intuizione θ (1-α (λ / m)) che significa ogni volta che questo si restringe θ quindi meno la solita parte prima dell'introduzione della regolarizzazione.

— Gob00st

4

In realtà, se controlli le note della lezione subito dopo il video, questa mostra la formula correttamente. Le diapositive che hai allineato qui mostrano la diapositiva esatta del video.

— Piyush
fonte

coursera.org/learn/machine-learning/supplement/pKAsc/… ecco il link alle note subito dopo il video che mostra la formula corretta.

— Gob00st

1

In realtà, penso che sia solo un errore di battitura.

$-\alpha$ $-\lambda\theta$ $-\alpha$

Ha senso?

— Steve S
fonte