Sono stati pubblicati articoli che mostrano differenze nei metodi di regolarizzazione delle reti neurali, preferibilmente su domini diversi (o almeno set di dati diversi)?
Lo sto chiedendo perché al momento ho la sensazione che la maggior parte delle persone sembri usare solo il dropout per la regolarizzazione nella visione artificiale. Vorrei verificare se ci sarebbe un motivo (non) per utilizzare diversi modi di regolarizzazione.
Risposte:
Due punti:
Ad ogni modo, sono un po 'scettico nei confronti degli studi empirici sulle reti neurali. Ci sono troppi iperparametri per mettere a punto, dalla topologia della rete alla procedura di ottimizzazione della discesa del gradiente fino alle funzioni di attivazione e qualunque cosa tu stia testando come la regolarizzazione. Quindi, l'intera cosa è stocastica e di solito i guadagni in termini di prestazioni sono così piccoli che difficilmente è possibile verificare statisticamente le differenze. Molti autori non si preoccupano nemmeno di fare test statistici. Hanno solo una media di convalida incrociata e dichiarano che qualsiasi modello ha avuto il più alto decimale di punti per essere il vincitore.
Potresti trovare uno studio che promuove l'abbandono solo per essere contraddetto da un altro che promuove la regolarizzazione.
Penso che tutto si riduce alle preferenze estetiche. Dropout IMHO sembra più plausibile dal punto di vista biologico rispetto alla regolarizzazione. Sembra anche più facile da calibrare. Quindi, personalmente lo preferisco quando utilizzo un framework come TensorFlow. Se dobbiamo usare la nostra rete neurale, cosa che facciamo spesso, useremo la regolarizzazione perché era più facile da implementare.
Decisamente. Il documento dello stesso Creatore, Geoffrey Hinton. https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf leggerlo. Ma ti incoraggio a vedere la differenza da solo implementandola.