Nel potenziamento, classificatori deboli o instabili sono usati come apprendenti di base. Questo è il caso perché l'obiettivo è quello di generare limiti di decisione notevolmente diversi. Quindi, un buon apprendista di base è altamente distorto, in altre parole, l'output rimane sostanzialmente lo stesso anche quando i parametri di allenamento per gli apprendenti di base vengono leggermente modificati.
Nelle reti neurali, il dropout è una tecnica di regolarizzazione che può essere paragonata agli ensemble di formazione. La differenza è che l'insieme avviene nello spazio latente (i neuroni esistono o no), riducendo così l'errore di generalizzazione.
"Ogni esempio di addestramento può quindi essere visto come un gradiente per un'architettura diversa, campionata casualmente, in modo che la rete neurale finale rappresenti efficacemente un enorme insieme di reti neurali, con una buona capacità di generalizzazione" - citando da qui .
Esistono due di queste tecniche: nel dropout i neuroni vengono fatti cadere (nel senso che i neuroni esistono o meno con una certa probabilità) mentre nel dropconnect i pesi vengono fatti cadere.
Ora, per rispondere alla tua domanda, credo che le reti neurali (o percettroni) non vengano utilizzate come apprendenti di base in una configurazione di potenziamento poiché sono più lente da addestrare (richiede solo troppo tempo) e gli studenti non sono così deboli, anche se potrebbero essere impostato per essere più instabile. Quindi, non vale la pena.
Potrebbe esserci stata una ricerca su questo argomento, tuttavia è un peccato che le idee che non funzionano bene di solito non vengano pubblicate con successo. Abbiamo bisogno di ulteriori ricerche su percorsi che non conducono da nessuna parte, ovvero "non preoccuparti di provare questo".
MODIFICARE:
Ho avuto un po 'di più su questo e se sei interessato a gruppi di reti di grandi dimensioni, potresti riferirti a metodi di combinazione degli output di più di tali reti. La maggior parte delle persone fa una media o usa il voto di maggioranza a seconda dell'attività - questo potrebbe non essere ottimale. Credo che dovrebbe essere possibile cambiare i pesi per l'output di ciascuna rete in base all'errore su un particolare record. Meno sono correlati gli output, migliore è la tua regola d'insieme.