5 anni dopo, le reti maxout sono morte e perché?

Le reti Maxout erano un'idea semplice ma geniale di Goodfellow et al. dal 2013 al massimo mappe delle caratteristiche per ottenere un approssimatore universale di attivazioni convesse. Il design è stato adattato per l'uso in combinazione con il dropout (poi recentemente introdotto) e ha ovviamente portato a risultati all'avanguardia su benchmark come CIFAR-10 e SVHN.

Cinque anni dopo, l'abbandono è sicuramente ancora in gioco, ma per quanto riguarda il maxout? Il documento è ancora ampiamente citato in documenti recenti secondo Google Scholar, ma sembra che quasi nessuno stia effettivamente utilizzando la tecnica.

Quindi il maxout è un ricordo del passato e, in caso affermativo, perché - cosa l'ha resa una delle migliori prestazioni nel 2013 ma non nel 2018?

Fondamentalmente, se leggi l'intero documento (in particolare, l'abstract e la sezione 7), scopri che il risultato principale rimane un contributo marginale oltre al dropout.

Se vedi i risultati empirici nella Tabella 5 (della pagina 5) del documento originale di maxout , scopri che il tasso di classificazione errata è solo molto, molto leggermente inferiore a quello dei dropout. (2,47% anziché 2,78%)

Ciò potrebbe spiegare l'interesse relativamente più basso per il lavoro.