Domanda sul compromesso della varianza e sui mezzi di ottimizzazione

Quindi mi chiedevo come si possa, ad esempio, ottimizzare al meglio il modello che stanno cercando di costruire di fronte a problemi presentati da un'alta propensione o un'alta varianza. Ora, naturalmente, puoi giocare con il parametro di regolarizzazione per arrivare a una conclusione soddisfacente, ma mi chiedevo se fosse possibile farlo senza fare affidamento sulla regolarizzazione.

Se b è lo stimatore del bias di un modello e v della sua varianza, non avrebbe senso cercare di minimizzare b * v?

Esistono molti modi per ridurre al minimo il pregiudizio e la varianza e, nonostante il detto popolare, non è sempre un compromesso.

Le due ragioni principali per un'alta propensione sono la capacità del modello insufficiente e la mancanza di adattamento perché la fase di addestramento non è stata completata. Ad esempio, se si ha un problema molto complesso da risolvere (ad es. Riconoscimento delle immagini) e si utilizza un modello di bassa capacità (ad es. Regressione lineare), questo modello presenterebbe un'inclinazione elevata a causa del fatto che il modello non è in grado di comprendere la complessità di il problema.

Il motivo principale per l' alta varianza è l' adattamento eccessivo sul set di allenamento.

Detto questo, ci sono modi per ridurre sia la distorsione che la varianza su un modello ML. Ad esempio, il modo più semplice per raggiungere questo obiettivo è ottenere più dati (in alcuni casi anche dati sintetici di aiuto).

Quello che tendiamo a fare in pratica è:

• Innanzitutto, aumentiamo la capacità del modello al fine di ridurre il più possibile la varianza sul set di addestramento. In altre parole, vogliamo rendere il modello troppo adatto (anche raggiungere una perdita di 0 sul set di allenamento). Questo perché vogliamo assicurarci che il modello abbia la capacità di comprendere sufficientemente i dati.

• Quindi proviamo a ridurre il pregiudizio . Questo viene fatto attraverso la regolarizzazione ( arresto anticipato , penalità di norma , abbandono , ecc.)