Prevenire l'overfitting di LSTM su piccoli set di dati

Sto modellando 15000 tweet per la previsione del sentimento usando un LSTM a singolo strato con 128 unità nascoste usando una rappresentazione simile a word2vec con 80 dimensioni. Ottengo una precisione di discesa (38% con casuale = 20%) dopo 1 epoca. Un ulteriore addestramento fa declinare l'accuratezza della convalida man mano che l'accuratezza dell'allenamento inizia a salire, un chiaro segno di eccesso di adattamento.

Sto quindi pensando a come fare la regolarizzazione. Preferirei non ridurre il numero di unità nascoste (128 sembra già un po 'basso). Attualmente uso il dropout con una probabilità del 50%, ma questo potrebbe forse essere aumentato. L'ottimizzatore è Adam con i parametri predefiniti per Keras ( http://keras.io/optimizers/#adam ).

Quali sono alcuni modi efficaci per ridurre l'overfitting di questo modello nel mio set di dati?

Puoi provare:

• Riduci il numero di unità nascoste, so che hai già detto che sembra già basso, ma dato che il livello di input ha solo 80 funzionalità, in realtà può essere che 128 sia troppo. Una regola empirica è quella di avere il numero di unità nascoste tra il numero di unità di input (80) e le classi di output (5);
• In alternativa, è possibile aumentare la dimensione dello spazio della rappresentazione di input in modo che sia maggiore di 80 (tuttavia ciò potrebbe anche essere eccessivo se la rappresentazione è già troppo stretta per una determinata parola).

Un buon modo per adattarsi a una rete è anche iniziare con una rete di adattamento e quindi ridurre la capacità (unità nascoste e spazio di incorporamento) fino a quando non si adatta più.