L'errore quadratico medio è sempre convesso nel contesto delle reti neurali?

9

Risorse multiple che ho citato per menzionare che MSE è eccezionale perché è convesso. Ma non capisco come, specialmente nel contesto delle reti neurali.

Diciamo che abbiamo il seguente:

$X$ : set di dati di allenamento
$Y$ : obiettivi
$\Theta$ : l'insieme dei parametri del modello $f_\Theta$ (un modello di rete neurale con non linearità)

Poi:

MSE (Θ) = (f_{Θ} (X) - Y)^{2}

$\operatorname{MSE}(\Theta) = (f_\Theta(X) - Y)^2$

Perché questa funzione di perdita dovrebbe essere sempre convessa? Dipende da $f_\Theta(X)$ ?

— user74211
fonte

1

Risposta in breve: MSE è convesso sul suo input e sui parametri da solo. Ma su una rete neurale arbitraria non è sempre convessa a causa della presenza di non linearità sotto forma di funzioni di attivazione. La fonte della mia risposta è qui .

— Varsh
fonte

1

Convessità

$f(x)$ $x ∈ Χ$ $x_1 ∈ Χ$ $x_2 ∈ Χ$ $0 ≤ λ ≤ 1$
$f (λ x_{1} + (1 - λ) x_{2}) \leq λ f (x_{1}) + (1 - λ) f (x_{2}) .$ $f(λ x_1 + (1 − λ) x_2) ≤ λf(x_1) + (1 − λ) f (x_2).$

Si può dimostrare che tale convessa ha un minimo globale. Un minimo globale unico elimina le trappole create da minimi locali che possono verificarsi in algoritmi che tentano di raggiungere la convergenza su un minimo globale, come la minimizzazione di una funzione di errore. $f(x)$

Sebbene una funzione di errore possa essere affidabile al 100% in tutti i contesti lineari continui e in molti contesti non lineari, ciò non significa la convergenza su un minimo globale per tutti i possibili contesti non lineari.

Errore quadratico medio

Data una funzione descrive il comportamento ideale del sistema e un modello del sistema (dove è il vettore dei parametri, matrice, cubo o ipercubo e ), creato razionalmente o tramite convergenza (come nell'allenamento della rete neurale), la funzione di errore quadrato medio (MSE) può essere rappresentata come segue. $s(x)$ $a(x, p)$ $p$ $1 ≤ n ≤ N$

e (β) := N^{- 1} \sum_{n} [a (x_{n}) - s (x_{n})]^{2}

$e(β) := N^{-1} \sum_{n} [a(x_n) − s(x_n)]^2$

Il materiale che stai leggendo probabilmente non sostiene che o siano convessi rispetto a , ma che sia convesso rispetto a e non importa cosa siano. Questa affermazione può essere provata in seguito per qualsiasi continua e . $a(x, p)$ $s(x)$ $x$ $e(β)$ $a(x, p)$ $s(x)$ $a(x, p)$ $s(x)$

Confondere l'algoritmo di convergenza

Se la domanda è se un e un metodo specifici per ottenere una che approssima all'interno di un ragionevole margine di convergenza MSE possono essere confusi, la risposta è "Sì". Questo è il motivo per cui MSE non è l'unico modello di errore. $a(x, p)$ $s(x)$ $a(x, p)$

Sommario

Il modo migliore per riassumere è che dovrebbe essere definito o scelto da una serie di modelli di errore convesso di magazzino basati sulle seguenti conoscenze. $e(β)$

Proprietà note del sistema $s(x)$
La definizione del modello di approssimazione $a(x, p)$
Il tensore utilizzato per generare lo stato successivo nella sequenza convergente

L'insieme dei modelli di errore convesso di serie include certamente il modello MSE per la sua semplicità e parsimonia computazionale.

— FauChristian
fonte

Quindi la risposta breve è MSE wrt Theta è sempre convessa. Sebbene Feedforard (X, Theta) quale potrebbe non essere convesso?

— user74211

Bene, @ user74211, quel commento in realtà non risponde alla domanda. La domanda specificamente posta come significa che l'errore quadratico può essere sempre convesso se la funzione a cui si applica non lo è. Il tuo commento è un sottoinsieme delle affermazioni nella domanda, senza la spiegazione richiesta.

— FauChristian,