Le precedenti sfide del golf della rete neurale ( questa e quella ) mi hanno ispirato a porre una nuova sfida:

La sfida

Trova la più piccola rete neurale feedforward tale che, dato qualsiasi vettore di input 4-dimensionale $(a,b,c,d)$ con voci intere in $[-10,10]$ , le uscite di rete $\textrm{sort}(a,b,c,d)$ con un errore di coordinate strettamente inferiore a $0.5$ .

ammissibilità

Per questa sfida, una rete neurale feedforward è definita come una composizione di strati . Uno strato è una funzione $L\colon\mathbf{R}^n\to\mathbf{R}^m$ che è specificata da una matrice $A\in\mathbf{R}^{m\times n}$ di pesi , un vettore $b\in\mathbf{R}^m$ di distorsioni e una funzione di attivazione $f\colon\mathbf{R}\to\mathbf{R}$ che viene applicata coordinata- saggio:

$$L(x) := f(Ax+b), \qquad x\in\mathbf{R}^n.$$

Poiché le funzioni di attivazione possono essere regolate per qualsiasi attività, è necessario limitare la classe di funzioni di attivazione per mantenere interessante questa sfida. Sono consentite le seguenti funzioni di attivazione:

• Identità. $f(t)=t$

• Relu. $f(t)=\operatorname{max}(t,0)$

• SoftPlus. $f(t)=\ln(e^t+1)$

• Tangente iperbolica. $f(t)=\tanh(t)$

• Sigma. $f(t)=\frac{e^t}{e^t+1}$

Complessivamente, una rete neurale ammissibile assume la forma $L_k\circ L_{k-1}\circ\cdots \circ L_2\circ L_1$ per alcuni $k$ , dove ogni strato $L_i$ è specificato dai pesi $A_i$ , bias $b_i$ e una funzione di attivazione $f_i$ dall'elenco sopra. Ad esempio, è ammessa la seguente rete neurale (sebbene non soddisfi l'obiettivo prestazionale di questa sfida, può essere un gadget utile):

$$\left[\begin{array}{c}\min(a,b)\\\max(a,b)\end{array}\right]=\left[\begin{array}{rrrr}1&-1&-\frac{1}{2}&-\frac{1}{2}\\1&-1&\frac{1}{2}&\frac{1}{2}\end{array}\right]\mathrm{ReLU}\left[\begin{array}{rr}\frac{1}{2}&\frac{1}{2}\\-\frac{1}{2}&-\frac{1}{2}\\1&-1\\-1&1\end{array}\right]\left[\begin{array}{c}a\\b\end{array}\right]$$

Questo esempio mostra due livelli. Entrambi i livelli hanno un bias zero. Il primo livello utilizza l'attivazione ReLU, mentre il secondo utilizza l'attivazione dell'identità.

punteggio

Il tuo punteggio è il numero totale di pesi e distorsioni diversi da zero .

(Ad esempio, l'esempio sopra ha un punteggio di 16 poiché i vettori di polarizzazione sono zero.)

Ottava , 96 88 87 84 76 54 50 pesi e inclinazioni

Questa rete neurale a 6 strati è essenzialmente una rete di smistamento in 3 fasi costruita da una rete min/ maxcomponente molto semplice . È fondamentalmente la rete di esempio di Wikipedia come mostrato di seguito, con una piccola modifica: i primi due confronti sono fatti in parallelo. Per aggirare i numeri negativi attraverso la ReLU, aggiungiamo prima 100 e poi sottraggiamo nuovamente 100 alla fine.

Quindi questo dovrebbe essere considerato solo come una linea di base in quanto è un'implementazione ingenua. Tuttavia, ordina tutti i numeri possibili che non hanno una grandezza troppo grande perfettamente. (Possiamo regolare l'intervallo sostituendo 100 con un altro numero.)

Provalo online!

max / min-componente

Esiste un modo ( molto meno elegante , più elegante ora, grazie a @xnor!) Per trovare il minimo e il massimo di due numeri usando meno parametri:

$$\begin{align} \min &= a - ReLU(a-b) \\ \max &= b + ReLU(a-b) \end{align}$$

Ciò significa che dobbiamo usare molti meno pesi e distorsioni.

Grazie @Joel per aver sottolineato che è sufficiente rendere tutti i numeri positivi nel primo passo e invertirlo nell'ultimo, il che rende -8 pesi. Grazie @xnor per aver sottolineato un metodo max / min ancora più breve che rende -22 pesi! Grazie @ DustinG.Mixon per la punta di combinare alcune matrici che si traducono in altri -4 pesi!

function z = net(u)
a1 = [100;100;0;100;100;0];
A1 = [1 0 0 0;0 0 1 0;1 0 -1 0;0 1 0 0;0 0 0 1;0 1 0 -1];
B1 = [1 0 -1 0 0 0;0 0 0 1 0 -1;0 1 1 0 0 0;0 0 0 0 1 1];
A2 = [1 0 0 0;0 1 0 0;1 -1 0 0;0 0 1 0;0 0 0 1;0 0 1 -1];
A3 = [1 0 -1 0 0 0;0 1 1 0 0 0;0 0 0 1 0 -1;0 1 1 -1 0 1;0 0 0 0 1 1];
B3 = [1 0 0 0 0;0 1 0 -1 0;0 0 1 1 0;0 0 0 0 1];
b3 = -[100;100;100;100];
relu = @(x)x .* (x>0);
id = @(x)x;
v = relu(A1 * u + a1);
w = id(B1 * v) ;
x = relu(A2 * w);
y = relu(A3 * x);
z = id(B3 * y + b3);
% disp(nnz(a1)+nnz(A1)+nnz(B1)+nnz(A2)+nnz(A3)+nnz(B3)+nnz(b3)); %uncomment to count the total number of weights
end

Provalo online!