Come posso migliorare la stabilità della mia rete neurale?

Sto usando la rete neuronale in R per costruire un NN con 14 ingressi e un'uscita. Costruisco / alleno la rete più volte utilizzando gli stessi dati di addestramento di input e le stesse architetture / impostazioni di rete.

Dopo che ogni rete è stata prodotta, la utilizzo su una serie autonoma di dati di test per calcolare alcuni valori previsti. Sto scoprendo che c'è una grande varianza in ogni iterazione dei dati previsti, nonostante tutti gli input (sia i dati di training che i dati di test) rimangano gli stessi ogni volta che costruisco la rete.

Capisco che ci saranno differenze nelle ponderazioni prodotte all'interno della NN ogni volta e che due reti neurali non saranno identiche, ma cosa posso provare a produrre reti più coerenti su ciascun treno, dati gli stessi dati?

In generale, si otterrebbe maggiore stabilità aumentando il numero di nodi nascosti e utilizzando un adeguato decadimento del peso (noto anche come penalità della cresta).

In particolare, consiglierei di usare il caretpacchetto per comprendere meglio la tua accuratezza (e persino l'incertezza nella tua precisione.) Anche nel punto di inserimento è quello avNNetche rende uno studente insieme da più reti neurali per ridurre l'effetto dei semi iniziali. Personalmente non ho visto enormi miglioramenti usando avNNetma potrebbe rispondere alla tua domanda originale.

Mi assicurerei anche che i tuoi input siano tutti adeguatamente condizionati. Hai ortogonalizzato e poi ridimensionato? Caret può anche eseguire questa pre-elaborazione tramite la sua pcaNNetfunzione.

Infine, puoi considerare di lanciare alcune connessioni skip layer. Tuttavia, è necessario assicurarsi che non vi siano valori anomali / punti di leva nei dati per inclinare tali connessioni.

Non ho lavorato con R, quindi posso solo dare consigli più generali.

Hai controllato se l'algoritmo convergeva? Una possibile spiegazione potrebbe essere che i diversi set di parametri sono tutti da qualche parte a metà dello stesso ottimale.

Se l'algoritmo converge sempre ma in un diverso ottimale locale, allora ci sono molte euristiche che potresti provare a evitare. Una strategia semplice quando si utilizza la discesa gradiente stocastica (SGD) sarebbe quella di utilizzare lotti più piccoli e un momento maggiore . Le dimensioni più piccole del lotto introducono effettivamente un po 'di rumore nell'allenamento che può aiutare a sfuggire ad alcuni optima locali. Una strategia molto più sofisticata sarebbe quella di inizializzare i pesi utilizzando gli autoencoder .