Come posso fare in modo che la mia rete gestisca equamente le rotazioni dell'input?

Sto tentando di programmare il mio sistema per eseguire una rete neurale. Per ridurre il numero di nodi necessari, è stato suggerito di fare in modo che le rotazioni dell'input fossero trattate allo stesso modo.

La mia rete mira a imparare e prevedere il gioco della vita di Conway osservando ogni quadrato e i suoi quadrati circostanti in una griglia e fornendo l'output per quel quadrato. Il suo input è una stringa di 9 bit:

Quanto sopra è rappresentato come 010 001 111.

Esistono altre tre rotazioni di questa forma e tutte producono lo stesso output:

La mia topologia di rete è composta da 9 nodi di input e 1 nodo di output per lo stato successivo del quadrato centrale nell'input. Come posso costruire i layer nascosti in modo che prendano ciascuna di queste rotazioni allo stesso modo, riducendo il numero di input possibili fino a un quarto dell'originale?

Modificare:

C'è anche una rotazione di ogni rotazione che produce un risultato identico. Incorporare questi taglierà i miei input di 1/8. Con l'aliante, il mio obiettivo è che tutti questi input vengano trattati esattamente allo stesso modo. Questo dovrà essere fatto con la pre-elaborazione o posso incorporarlo nella rete?

Se capisco bene il tuo singolo nodo di output sarà il prossimo stato del quadrato nel mezzo. Non devi preoccuparti del numero di nodi nei livelli nascosti mentre hai risorse sufficienti per addestrare il modello. Questo problema è molto facile da imparare per una rete neurale, quindi non ci sono problemi di dimensioni.

È necessario eseguire una formazione supervisionata, il che significa che è necessario inserire i dati di input e l'output previsto corrispondente. Devi essere sicuro che nei tuoi dati di allenamento tutte e 4 le rotazioni siano assegnate allo stesso output. In questo modo la tua rete dovrebbe imparare a trattare tutti questi allo stesso modo.

Mi hai incuriosito, quindi ho provato me stesso. La mia soluzione potrebbe essere corretta al 100% in circa 20 epoche in pochi secondi sul mio vecchio laptop. Ho modificato leggermente l'output in modo che sia categorico [0,1] o [1,0], ma questo dà lo stesso risultato che stai cercando. Solo per riferimento qui è il codice scritto in Python:

from keras.models import Sequential
from keras.layers import Input, Dense
from keras.models import Model
from keras import optimizers
from keras.utils.np_utils import to_categorical
import helper

x_,y_ = helper.fnn_csv_toXY("conway.csv","output",False)
y_binary = to_categorical(y_)

model = Sequential()
model.add(Dense(100, activation='relu', kernel_initializer='glorot_uniform',input_shape =(9,)))
model.add(Dense(20, activation='relu', kernel_initializer='glorot_uniform'))
model.add(Dense(2, activation='softmax'))
adam=optimizers.Adam()
model.compile(optimizer=adam,
              loss='categorical_crossentropy',
              metrics=['acc'])
model.fit(x_, y_binary, epochs=100)

Hai identificato un'ottimizzazione nel tuo spazio problematico e desideri inserirla nella tua rete neurale. Suggerisco la preelaborazione: componi la tua ottimizzazione con una rete neurale che fa un sottoinsieme di ciò che desideri.

In altre parole, normalizza i tuoi input codificando manualmente un algoritmo di rotazione che ruota gli input per catturare l'equivalenza evidenziata nel tuo post. Quindi alimentare l'output di questa trasformazione nella rete neurale, per la formazione e tutti gli altri usi. Ciò significa che stai addestrando la rete neurale per affrontare il sotto-problema che hai identificato - le rotazioni sono ridondanti.

Metti alla prova il tuo normalizzatore generando input casuali, ruotandolo su tutte e quattro le potenziali trasformazioni, esegui il normalizzatore su ognuna, quindi verifica che siano tutti equivalenti.

Per essere puristi al riguardo, inizia considerando l'entrata in modo diverso, come una matrice circolare di dimensioni quattro, ogni elemento contenente una coppia di bit e inoltre un bit centrale:

... 01, 01, 11, 10 ...

0

Durante la progettazione della rete, continuare questa struttura circolare e il paradigma del punto centrale.