Quali sono le garanzie teoriche di insaccamento

Ho (approssimativamente) sentito che:

il bagging è una tecnica per ridurre la varianza di un algoritmo predittore / stimatore / apprendimento.

Tuttavia, non ho mai visto una prova matematica formale di questa affermazione. Qualcuno sa perché questo è matematicamente vero? Sembra essere un fatto così ampiamente riconosciuto / conosciuto, che mi aspetterei un riferimento diretto a questo. Sarei sorpreso se non ci fosse. Inoltre, qualcuno sa quale effetto ha questo sulla distorsione?

Esistono altre garanzie teoriche sugli approcci di insaccamento che qualcuno conosce e pensa sia importante e voglia condividerli?

Il principale caso d'uso per il bagging è la riduzione della varianza dei modelli a bassa polarizzazione raggruppandoli insieme. Questo è stato studiato empiricamente nel documento di riferimento " Un confronto empirico di algoritmi di classificazione delle votazioni: insaccamento, potenziamento e varianti " di Bauer e Kohavi . Di solito funziona come pubblicizzato.

Tuttavia, contrariamente alla credenza popolare, il confezionamento non è garantito per ridurre la varianza . Una spiegazione più recente e (a mio avviso) migliore è che l'insaccamento riduce l'influenza dei punti di leva. I punti di leva sono quelli che influenzano in modo sproporzionato il modello risultante, come la regressione dei valori erratici nei minimi quadrati. È raro ma è possibile che i punti di leva influenzino positivamente i modelli risultanti, nel qual caso il bagging riduce le prestazioni. Dai un'occhiata a " Insaccamento equalizza l'influenza " di Grandvalet .

Quindi, per rispondere finalmente alla tua domanda: l'effetto del bagging dipende in gran parte dai punti di leva. Esistono poche garanzie teoriche, ad eccezione del fatto che l'insacchettamento aumenta linearmente i tempi di calcolo in termini di dimensioni della borsa! Detto questo, è ancora una tecnica ampiamente utilizzata e molto potente. Quando si impara con il rumore delle etichette, ad esempio, l' insacco può produrre classificatori più robusti .

Rao e Tibshirani hanno dato un'interpretazione bayesiana in " Il metodo out-of-bootstrap per la media e la selezione dei modelli " :

In questo senso, la distribuzione bootstrap rappresenta una distribuzione posteriore (approssimativa) non parametrica, non informativa per il nostro parametro. Ma questa distribuzione bootstrap si ottiene indolore- senza dover specificare formalmente un precedente e senza dover campionare dalla distribuzione posteriore. Quindi potremmo pensare alla distribuzione bootstrap come "Bayes posteriore di un povero".