Qual è il modo più semplice per capire il potenziamento?
Perché non aumenta i classificatori molto deboli "all'infinito" (perfezione)?
Qual è il modo più semplice per capire il potenziamento?
Perché non aumenta i classificatori molto deboli "all'infinito" (perfezione)?
Risposte:
In parole povere: se il tuo classificatore classifica erroneamente alcuni dati, addestrane un'altra copia principalmente su questa parte classificata erroneamente con la speranza che scoprirà qualcosa di sottile. E poi, come al solito, ripetiamo. Sulla strada ci sono alcuni schemi di voto che consentono di combinare tutte le previsioni di quei classificatori in modo ragionevole.
Perché a volte è impossibile (il rumore nasconde solo alcune delle informazioni o non è nemmeno presente nei dati); d'altro canto, un aumento eccessivo può comportare un eccesso di adattamento.
Il potenziamento impiega il restringimento attraverso il parametro della velocità di apprendimento, che, combinato con k -fold cross validation, previsioni "out-of-bag" (OOB) o set di test indipendenti, determina il numero di alberi che si dovrebbero tenere nell'insieme.
Vogliamo un modello che apprenda lentamente, quindi c'è un compromesso in termini di complessità di ogni singolo modello e il numero di modelli da includere. La guida che ho visto suggerisce che dovresti impostare il tasso di apprendimento più basso possibile (dati i tempi di calcolo e i requisiti di spazio di archiviazione), mentre la complessità di ciascun albero dovrebbe essere selezionata in base al fatto che le interazioni siano consentite e in che misura, più complessa è la struttura, più complesse sono le interazioni che possono essere rappresentate.
k -fold CV (o previsioni OOB o set di test indipendenti) viene utilizzato per decidere quando il modello potenziato ha iniziato a sovrautilizzare. Fondamentalmente è questo che ci impedisce di passare al modello perfetto, ma è meglio imparare lentamente, quindi abbiamo un ampio insieme di modelli che contribuiscono al modello montato.