Sto cercando di capire il compromesso di bias-varianza, la relazione tra il bias dello stimatore e il bias del modello e la relazione tra la varianza dello stimatore e la varianza del modello.

Sono giunto a queste conclusioni:

• Tendiamo a sovrautilizzare i dati quando trascuriamo il bias dello stimatore, cioè quando miriamo solo a minimizzare il bias del modello trascurando la varianza del modello (in altre parole miriamo solo a minimizzare la varianza dello stimatore senza considerare anche il pregiudizio dello stimatore)
• Viceversa, tendiamo a sottovalutare i dati quando trascuriamo la varianza dello stimatore, cioè quando miriamo solo a minimizzare la varianza del modello trascurando la distorsione del modello (in altre parole miriamo solo a minimizzare la distorsione del stimatore senza considerare anche la varianza dello stimatore).

Le mie conclusioni sono corrette?

Beh, in un certo senso. Come affermato, attribuisci l'intenzione allo scienziato di ridurre al minimo la distorsione o la variazione. In pratica, non puoi osservare esplicitamente il bias o la varianza del tuo modello (se potessi, allora conosceresti il ​​vero segnale, nel qual caso non avresti bisogno di un modello). In generale, è possibile osservare il tasso di errore del modello solo su un set di dati specifico e si cerca di stimare il tasso di errore fuori campione utilizzando varie tecniche creative.

Ora fai a sapere che, almeno in teoria, questo tasso di errore può essere scomposta in termini di polarizzazione e varianza, ma non è possibile osservare direttamente questo equilibrio in ogni situazione specifica concreta. Quindi riaffermerei leggermente le tue osservazioni come:

• Un modello è inadeguato ai dati quando il termine di polarizzazione contribuisce alla maggior parte dell'errore fuori campione.
• Un modello è troppo adatto ai dati quando il termine di varianza contribuisce alla maggior parte dell'errore fuori campione.

In generale, non esiste un vero modo per saperlo con certezza, in quanto non si può mai veramente osservare il pregiudizio del modello. Tuttavia, ci sono vari modelli di comportamento che sono indicativi di trovarsi in una situazione o in un'altra:

• I modelli di overfit tendono ad avere una bontà molto peggiore delle prestazioni di adattamento su un set di dati di test rispetto a un set di dati di allenamento.
• I modelli Underfit tendono ad avere la stessa bontà delle prestazioni in forma su un set di dati test vs. training.

Questi sono gli schemi che si manifestano nei famosi grafici dei tassi di errore in base alla complessità del modello, questo è tratto da The Elements of Statistical Learning:

Spesso questi grafici sono sovrapposti con una curva di polarizzazione e varianza. Ho preso questo da questa bella esposizione :

Ma è molto importante rendersi conto che in realtà non si vedono mai queste curve aggiuntive.

Illustrando il pregiudizio - Varianza: un esempio di giocattolo

Come sottolinea @Matthew Drury, in situazioni realistiche non riesci a vedere l'ultimo grafico, ma il seguente esempio di giocattolo può fornire interpretazione visiva e intuizione a coloro che lo trovano utile.

Set di dati e ipotesi

$Y$

• $Y = sin(\pi x - 0.5) + \epsilon$$\epsilon \sim Uniform(-0.5,0.5)$
• $Y = f(x) + \epsilon$

$x$$Y$$Var(Y) = Var(\epsilon) = \frac{1}{12}$

Adatteremo un modello di regressione lineare e polinomiale a questo set di dati del modulo $\hat f(x) = \beta_0 + \beta_1x + \beta_1 x^2 + ... + \beta_px^p$.

Adatto a vari modelli di polinomi

Intuitivamente, ci si aspetterebbe che una curva a retta funzioni male poiché l'insieme di dati è chiaramente non lineare. Allo stesso modo, l'inserimento di un polinomio di ordine molto elevato potrebbe essere eccessivo. Questa intuizione si riflette nel grafico sotto che mostra i vari modelli e il loro corrispondente errore quadrato medio per i dati di treno e di prova.

Il grafico sopra funziona per una singola divisione treno / prova ma come facciamo a sapere se si generalizza?

Stima del treno previsto e prova MSE

Qui abbiamo molte opzioni, ma un approccio è quello di dividere casualmente i dati tra treno / test - adattare il modello alla divisione data e ripetere questo esperimento molte volte. Il MSE risultante può essere tracciato e la media è una stima dell'errore previsto.

È interessante notare che il test MSE fluttua selvaggiamente per diverse suddivisioni treno / test dei dati. Ma prendere la media su un numero sufficientemente ampio di esperimenti ci dà una maggiore fiducia.

Nota la linea tratteggiata grigia che mostra la varianza di $Y$calcolato all'inizio. Sembra che in media il test MSE non sia mai inferiore a questo valore

 Distorsione: decomposizione della varianza

Come spiegato qui, l'MSE può essere suddiviso in 3 componenti principali:

$$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$$ $$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2$$

Dove nella nostra custodia dei giocattoli:

• $f$ è noto dal set di dati iniziale
• $\sigma^2_\epsilon$ è noto dalla distribuzione uniforme di $\epsilon$
• $E[\hat f]$ può essere calcolato come sopra
• $\hat f$ corrisponde a una linea leggermente colorata
• $E\left[ \hat f - E[ \hat f] \right]^2$ può essere stimato prendendo la media

Dare la seguente relazione

Nota: il grafico sopra utilizza i dati di addestramento per adattarsi al modello e quindi calcola l'MSE su train + test .