Risorse per l'apprendimento di come implementare metodi di ensemble

Comprendo teoricamente (in un certo senso) come funzionerebbero, ma non sono sicuro di come utilizzare effettivamente un metodo di ensemble (come voto, miscele ponderate, ecc.).

• Quali sono le buone risorse per l'implementazione dei metodi di ensemble?
• Ci sono risorse particolari per quanto riguarda l'implementazione in Python?

MODIFICARE:

Per chiarire alcuni sulla base della discussione sui commenti, non sto cercando algoritmi di ensemble come randomForest, ecc. Invece, mi chiedo come è possibile combinare classificazioni diverse da algoritmi diversi.

Ad esempio, supponiamo che qualcuno usi la regressione logistica, SVM e altri metodi per prevedere la classe di una certa osservazione. Qual è il modo migliore per acquisire la migliore stima della classe in base a queste previsioni?

Un buon punto di partenza è avere una visione d'insieme dell'apprendimento d'insieme. Soprattutto ti consigliamo di dare un'occhiata a potenziamento e insaccamento . Un altro metodo era quello usato dal team "The Ensemble" nel Premio Netflix, chiamato "blending" o stacking delle caratteristiche .

Quindi, basta trovare alcune librerie che implementano quelle e funzionano da lì. Un veloce googling ha rivelato scikit e orange , entrambi i quali dovrebbero avere insaccamento e potenziamento (e sono entrambi Python).

Se oltre ad usare i metodi ensemble, ti piacerebbe imparare un po 'di teoria, allora penso che questo documento sarebbe un buon punto di partenza (segui i riferimenti per le parti che ti interessano).

Saluti.

"Metodi di ensemble nel data mining: migliorare la precisione attraverso la combinazione di previsioni", Seni e Elder - Eccellente riferimento sulla teoria e l'implementazione pratica degli ensemble, ma il codice di accompagnamento è basato su R.

"Apprendimento automatico: una prospettiva algoritmica", S. Marsland - Eccellente testo pratico basato su Python, ma non dedicato ai concetti di ensemble puro come il primo riferimento.

La risposta di Stumpy Joe Pete è stata perfetta, ma da quando hai parlato di un'implementazione di Python, ho voluto menzionare il progetto brew dell'Universidade Federal de Pernambuco.

https://github.com/viisar/brew

from brew.base import Ensemble
from brew.base import EnsembleClassifier
from brew.combination import import Combiner

# create your Ensemble
clfs = your_list_of_classifiers # [clf1, clf2]
ens = Ensemble(classifiers = clfs)

# create your Combiner
# the rules can be 'majority_vote', 'max', 'min', 'mean' or 'median'
comb = Combiner(rule='majority_vote')

# now create your ensemble classifier
ensemble_clf = EnsembleClassifier(ensemble=ens, combiner=comb)
ensemble_clf.predict(X)

A questo punto, hanno generazione di ensemble, combinazione, potatura e selezione dinamica.

Limitazioni: solo classificazione; nessun impilamento nella versione pubblica corrente; non molta documentazione.

Salford Systems ha un pacchetto software chiamato Random Forests che lo implementa per gruppi di alberi di classificazione e regressione. Non ho pacchetti R gratuiti da offrire. Immagino che abbiano un manuale utente che spiegherà la loro implementazione. Per analogia potresti probabilmente capire come farlo per altri metodi di ensemble.

Ho trovato questo tutorial estremamente utile. Non risponde a tutti i pezzi, ma penso che sia un ottimo inizio per la discussione: http://vikparuchuri.com/blog/intro-to-ensemble-learning-in-r/

Scikit-learn classificatori binari guida fornisce insaccamento e aumentando meta-classificatori e regressori. Inoltre, la libreria mlxtend fornisce implementazioni di meta-classificatori e regressori di impilamento .