Esiste una rappresentazione grafica del compromesso di bias varianza nella regressione lineare?

Sto soffrendo di un blackout. Mi è stata presentata la seguente immagine per mostrare il compromesso della variazione di bias nel contesto della regressione lineare:

Modello polinomiale per dati, caso semplice e complesso

Vedo che nessuno dei due modelli è adatto: il "semplice" non sta apprezzando la complessità della relazione XY e il "complesso" si sta semplicemente adattando, fondamentalmente imparando a memoria i dati di allenamento. Tuttavia non riesco completamente a vedere il pregiudizio e la varianza in queste due immagini. Qualcuno potrebbe mostrarmelo?

PS: La risposta alla spiegazione intuitiva del compromesso di bias-varianza? non mi ha davvero aiutato, sarei felice se qualcuno potesse fornire un approccio diverso basato sull'immagine sopra.

regression variance bias

— blubb
fonte

Risposte:

Il compromesso della variazione di polarizzazione si basa sulla suddivisione dell'errore quadratico medio:

M S E (\hat{y}) = E [y - \hat{y}]^{2} = E [y - E [\hat{y}]]^{2} + E [\hat{y} - E [\hat{y}]]^{2}

$MSE(\hat{y})=E[y-\hat{y}]^2=E[y-E[\hat{y}]]^2+E[\hat{y}-E[\hat{y}]]^2$

Un modo per vedere il commercio di bias varianza è quali proprietà del set di dati vengono utilizzate nell'adattamento del modello. Per il modello semplice, se assumiamo che la regressione OLS sia stata usata per adattarsi alla linea retta, allora solo 4 numeri sono usati per adattarsi alla linea:

La covarianza del campione tra xe y
La varianza del campione di x
La media campionaria di x
La media campionaria di y

Quindi, qualsiasi grafico che porta agli stessi 4 numeri sopra porterà esattamente alla stessa linea adattata (10 punti, 100 punti, 100000000 punti). Quindi, in un certo senso, è insensibile al particolare campione osservato. Ciò significa che sarà "distorto" perché ignora efficacemente parte dei dati. Se quella parte ignorata dei dati risulta essere importante, le previsioni saranno costantemente in errore. Questo verrà visualizzato se si confronta la linea adattata utilizzando tutti i dati con le linee adattate ottenute rimuovendo un punto dati. Tenderanno ad essere abbastanza stabili.

Ora il secondo modello utilizza ogni frammento di dati che può ottenere e si adatta ai dati il più vicino possibile. Quindi, la posizione esatta di ogni punto di dati è importante e quindi non è possibile spostare i dati di allenamento senza cambiare il modello adattato come è possibile per OLS. Quindi il modello è molto sensibile al particolare set di allenamento che hai. Il modello montato sarà molto diverso se si esegue la stessa trama del punto dati drop-one.

— probabilityislogic
fonte

\hat{θ}

$\hat\theta$

\hat{y}

$\hat y$

θ

$\theta$

x, y

$x,y$

\hat{y}

$\hat {y}$

\hat{θ}

$\hat {\theta}$

\hat{θ}

$\hat\theta$

b i a s (\hat{θ}) = θ - E [\hat{θ}]

$bias(\hat\theta)=\theta-E[\hat\theta]$

θ

$\theta$

f (x) = a + b x + c x^{2}

$f(x)=a+bx+cx^2$

h (x) = d + e x

$h(x)=d+ex$

(a, b, c)

$(a,b,c)$

(d, e)

$(d,e)$

b i a s (d)

$bias(d)$

b i a s (e)

$bias(e)$

@loganecolss - questo non è un paradosso in quanto la nozione di distorsione esiste solo "localmente" - cioè rispetto ad un dato modello statistico. Il "paradosso" esiste per una persona che: 1) conosce il "vero modello" e 2) decide di non usarlo. Quella persona è un idiota nel mio libro. Se non si conosce il "vero modello" allora non è un problema - a meno che non avete trovato un buon modello e ha deciso di non usarlo ...

— probabilityislogic

f (x, z_{1}, z_{2}, \dots, z_{K})

$f (x, z_1, z_2,\dots, z_{K})$

z_{i}

$z_i$

K

$K$

— Probislogic il

Riassumendo con ciò che penso di sapere in modo non matematico:

bias: la previsione sarà errata quando si utilizza il modello semplice e ciò accadrà su qualsiasi set di dati su cui si utilizza il modello. La tua previsione dovrebbe essere sbagliata
varianza: se si utilizza il modello complesso, si otterrà una previsione molto diversa in base al set di dati che si sta utilizzando

Questa pagina ha una spiegazione abbastanza buona con diagrammi simili a quelli che hai pubblicato. (Ho saltato la parte superiore però, ho appena letto la parte con i diagrammi) http://www.aiaccess.net/English/Glossaries/GlosMod/e_gm_bias_variance.htm (il passaggio del mouse mostra un campione diverso nel caso in cui non te ne fossi accorto!)

— re
fonte

Questa è una pagina interessante e buone illustrazioni, ma le trovo più confuse che utili perché (a) il "pregiudizio" e la "varianza" discussi nel contesto della regressione non sembrano essere il pregiudizio e la varianza come definiti all'inizio pagina e (b) non è affatto chiaro che le dichiarazioni fatte (su come il bias e la varianza cambiano con il numero di parametri) siano corrette.

— whuber