Perché la funzione di costo delle reti neurali non è convessa?

C'è un thread simile qui (la funzione di costo della rete neurale non è convessa? ) Ma non sono stato in grado di capire i punti nelle risposte lì e il mio motivo per chiedere di nuovo sperando che questo chiarisca alcuni problemi:

Se utilizzo somma di funzione di costo differenza quadrata, sono infine ottimizzando qualcosa della forma dove è il valore effettivo etichetta durante la fase di formazione e è l'etichetta prevista valore. Poiché ha una forma quadrata, dovrebbe essere una funzione di costo convesso. Allora, cosa potrebbe renderlo non convesso in una NN? $\Sigma_{i=1}^{N}(y_i - \hat{y_i})^2$ $y$ $\hat{y}$

— luca
fonte

banalmente, è perché

, e in generale non vi sono garanzie che una funzione arbitraria sarà convessa

\hat{y} = f (x)

$\hat{y} = f(x)$

— generic_user

è infatti convessa . Ma se non può essere convessa in , che è la situazione con la maggior parte dei modelli non-lineari, e in realtà cura di convessità in perché è quello che stiamo ottimizzando la funzione di costo al di sopra di. $\sum_i (y_i- \hat y_i)^2$ $\hat y_i$ $\hat y_i = f(x_i ; \theta)$ $\theta$ $\theta$

Ad esempio, consideriamo una rete con 1 strato nascosto di unità e uno strato di uscita lineare: la nostra funzione di costo è dove e (e sto omettendo termini di bias per semplicità). Questo non è necessariamente convesso se visto come una funzione di $N$

g (α, W) = \underset{io}{Σ} {(y_{io} - α_{io} σ (W X_{io}))}^{2}

$g(\alpha, W) = \sum_i \left(y_i - \alpha_i\sigma(Wx_i)\right)^2$

x_{i} \in R^{p}

$x_i \in \mathbb R^p$

W \in R^{N \times p}

$W \in \mathbb R^{N \times p}$

(α, W)

$(\alpha, W)$ (a seconda di

: se si utilizza una funzione di attivazione lineare, questa può essere ancora convessa). E più profonda diventa la nostra rete, meno le cose sono convesse.

σ

$\sigma$

Ora definisci una funzione per dove è con impostato su e impostato su . Questo ci consente di visualizzare la funzione di costo al variare di questi due pesi. $h : \mathbb R \times \mathbb R \to \mathbb R$ $h(u, v) = g(\alpha, W(u, v))$ $W(u,v)$ $W$ $W_{11}$ $u$ $W_{12}$ $v$

La figura seguente mostra questo per la funzione di attivazione sigmoid con , e (quindi un'architettura estremamente semplice). Tutti i dati (sia che ) sono iid , così come i pesi che non vengono variati nella funzione di stampa. Puoi vedere la mancanza di convessità qui. $n=50$ $p=3$ $N=1$ $x$ $y$ $\mathcal N(0,1)$

Ecco il codice R che ho usato per fare questa figura (anche se alcuni dei parametri ora hanno valori leggermente diversi rispetto a quando l'ho fatto, quindi non saranno identici):

costfunc <- function(u, v, W, a, x, y, afunc) {
  W[1,1] <- u; W[1,2] <- v
  preds <- t(a) %*% afunc(W %*% t(x))
  sum((y - preds)^2)
}

set.seed(1)
n <- 75  # number of observations
p <- 3   # number of predictors
N <- 1   # number of hidden units


x <- matrix(rnorm(n * p), n, p)
y <- rnorm(n)  # all noise
a <- matrix(rnorm(N), N)
W <- matrix(rnorm(N * p), N, p)

afunc <- function(z) 1 / (1 + exp(-z))  # sigmoid

l = 400  # dim of matrix of cost evaluations
wvals <- seq(-50, 50, length = l)  # where we evaluate costfunc
fmtx <- matrix(0, l, l)
for(i in 1:l) {
  for(j in 1:l) {
    fmtx[i,j] = costfunc(wvals[i], wvals[j], W, a, x, y, afunc)
  }
}

filled.contour(wvals, wvals, fmtx,plot.axes = { contour(wvals, wvals, fmtx, nlevels = 25, 
                                           drawlabels = F, axes = FALSE, 
                                           frame.plot = FALSE, add = TRUE); axis(1); axis(2) },
               main = 'NN loss surface', xlab = expression(paste('W'[11])), ylab = expression(paste('W'[12])))

— JLD
fonte

Risposta fantastica; Penso a prescindere dalle funzioni di attivazione, possiamo sempre trovare qualche permutazione dei pesi / unità nascoste che generalmente significa non convessità

— information_interchange

@information_interchange grazie, e penso che tu abbia assolutamente ragione, la risposta che OP ha collegato anche a questo approccio

— jld

ottima risposta, ma se usiamo MAE anziché MSE, non capisco perché sarà non convesso, la composizione di una funzione convessa e non decrescente è convessa, quindi se abbiamo MAE, dovremmo comunque avere una funzione convessa per quanto riguarda W.

— Panda