Intuizione matematica dell'equazione Bias-Variance

Di recente ho posto una domanda alla ricerca di un'interpretazione / intuizione matematica dietro l'equazione elementare relativa alla media e alla varianza del campione: , geometrico o di altro tipo. $E[X^2] = Var(X) +(E[X])^2$

Ma ora sono curioso dell'equazione di compromesso di bias-varianza superficialmente simile.

\begin{array}{rcl} MSE (\hat{θ}) = E [(\hat{θ} - θ)^{2}] & = & E [(\hat{θ} - E [\hat{θ}])^{2}] + (E [\hat{θ}] - θ)^{2} \\ = & Var (\hat{θ}) + pregiudizio (\hat{θ}, θ)^{2} \end{array}

$\begin{eqnarray} \text{MSE}(\hat{\theta}) = E [(\hat{\theta}-\theta)^2 ] &=& E[(\hat{\theta} - E[\hat\theta])^2] + (E[\hat\theta] - \theta)^2\\ &=& \text{Var}(\hat\theta) + \text{Bias}(\hat\theta,\theta)^2 \\ \end{eqnarray}$ (formule da Wikipedia )

Per me esiste una somiglianza superficiale con l'equazione del compromesso di bias-varianza per la regressione: tre termini con quadrati e due che si aggiungono all'altro. Aspetto molto pitagorico. Esiste una relazione vettoriale simile che include l'ortogonalità per tutti questi elementi? O c'è qualche altra interpretazione matematica correlata che si applica?

Sto cercando un'analogia matematica con alcuni altri oggetti matematici che potrebbero far luce. Non sto cercando l'analogia precisione-precisione che è ben coperta qui. Ma se ci sono analogie non tecniche che le persone possono dare tra il compromesso di bias-varianza e la relazione molto più elementare di media-varianza, sarebbe fantastico.

variance bias

— Mitch
fonte

La somiglianza è più che superficiale.

Il "compromesso di bias varianza" può essere interpretato come il teorema di Pitagora applicato a due vettori euclidei perpendicolari: la lunghezza di uno è la deviazione standard e la lunghezza dell'altro è il pregiudizio. La lunghezza dell'ipotenusa è l'errore quadratico medio radice.

Una relazione fondamentale

Come punto di partenza, considera questo calcolo rivelatore, valido per qualsiasi variabile casuale con un secondo momento finito e qualsiasi numero reale . Poiché il secondo momento è finito, ha una media finita per cui , da cui $X$ $a$ $X$ $\mu=\mathbb{E}(X)$ $\mathbb{E}(X-\mu)=0$

\begin{matrix} (1) & \begin{aligned} E ((X - un')^{2}) & = E ((X - μ + μ - un')^{2}) \\ = E ((X - μ)^{2}) + 2 E (X - μ) (μ - un') + (μ - un')^{2} \\ = Var (X) + (μ - un')^{2} . \end{aligned} \end{matrix}

$\eqalign{ \mathbb{E}((X-a)^2) &= \mathbb{E}((X-\mu\,+\,\mu-a)^2) \\ &= \mathbb{E}((X-\mu)^2) + 2 \mathbb{E}(X-\mu)(\mu-a) + (\mu-a)^2 \\ &= \operatorname{Var}(X) + (\mu-a)^2.\tag{1} }$

Questo dimostra come la deviazione quadrata media tra e qualsiasi valore "iniziale" varia con : è una funzione quadratica di con un minimo a , dove la deviazione media quadrata è la varianza di . $X$ $a$ $a$ $a$ $\mu$ $X$

La connessione con stimatori e distorsioni

Qualsiasi stimatore è una variabile casuale perché (per definizione) è una funzione (misurabile) di variabili casuali. Lasciandolo svolgere il ruolo di nel precedente, e lasciando che l'estimand (la cosa si suppone che stima) sia , abbiamo $\hat \theta$ $X$ $\hat\theta$ $\theta$

MSE (\hat{θ}) = E ((\hat{θ} - θ)^{2}) = Var (\hat{θ}) + (E (\hat{θ}) - θ)^{2} .

$\operatorname{MSE}(\hat\theta) = \mathbb{E}((\hat\theta-\theta)^2) = \operatorname{Var}(\hat\theta) + (\mathbb{E}(\hat\theta)-\theta)^2.$

Torniamo a ora che abbiamo visto come l'affermazione su bias + varianza per uno stimatore è letteralmente un caso di . La domanda cerca "analogie matematiche con oggetti matematici". Possiamo fare di più mostrando che le variabili casuali integrabili al quadrato possono essere naturalmente trasformate in uno spazio euclideo. $(1)$ $(1)$

Sfondo matematico

In un senso molto generale, una variabile casuale è una funzione (misurabile) a valore reale su uno spazio di probabilità . L'insieme di tali funzioni integrabili quadrate, che è spesso scritto (con la struttura della probabilità data compresa), è quasi uno spazio di Hilbert. Per trasformarlo in uno, dobbiamo confondere due variabili casuali e che non differiscono realmente in termini di integrazione: cioè, diciamo che e sono equivalenti ogni volta $(\Omega, \mathfrak{S}, \mathbb{P})$ $\mathcal{L}^2(\Omega)$ $X$ $Y$ $X$ $Y$

E (| X - Y |^{2}) = \int_{Ω} | X (ω) - Y (ω) |^{2} d P (ω) = 0.

$\mathbb{E}(|X-Y|^2) = \int_\Omega |X(\omega)-Y(\omega)|^2 d\mathbb{P}(\omega) = 0.$

È semplice verificare che questa è una relazione di equivalenza vero: soprattutto, quando è equivalente a e è equivalente a , poi necessariamente sarà equivalente a . Pertanto, possiamo suddividere tutte le variabili casuali integrabili quadrate in classi di equivalenza. Queste classi formano l'insieme . Inoltre, eredita la struttura dello spazio vettoriale di definita dall'aggiunta puntuale di valori e dalla moltiplicazione scalare puntuale. Su questo spazio vettoriale, la funzione $X$ $Y$ $Y$ $Z$ $X$ $Z$ $L^2(\Omega)$ $L^2$ $\mathcal{L}^2$

X \to {(\int_{Ω} | X (ω) |^{2} d P (ω))}^{1 / 2} = \sqrt{E (| X |^{2})}

$X \to \left(\int_\Omega |X(\omega)|^2 d\mathbb{P}(\omega)\right)^{1/2}=\sqrt{\mathbb{E}(|X|^2)}$

è una norma , spesso scritta . Questa norma trasforma in uno spazio di Hilbert. Pensa a uno spazio di Hilbert come a uno "spazio euclideo di dimensione infinita". Qualsiasi sottospazio di dimensione finita eredita la norma da e , con questa norma, è uno spazio euclideo: possiamo fare la geometria euclidea in esso. $||X||_2$ $L^2(\Omega)$ $\mathcal{H}$ $V\subset \mathcal{H}$ $\mathcal{H}$ $V$

Infine, abbiamo bisogno di un fatto speciale per gli spazi di probabilità (piuttosto che per gli spazi di misura generali): poiché è una probabilità, è delimitata (da ), da cui le funzioni costanti (per qualsiasi numero reale fisso ) sono variabili casuali integrabili quadrate con norme finite. $\mathbb{P}$ $1$ $\omega\to a$ $a$

Un'interpretazione geometrica

Considera qualsiasi variabile casuale integrabile quadrata , considerata come rappresentativa della sua classe di equivalenza in . Ha una media che (come si può verificare) dipende solo dalla classe di equivalenza di . Sia la classe della variabile casuale costante. $X$ $L^2(\Omega)$ $\mu=\mathbb{E}(X)$ $X$ $\mathbf{1}:\omega\to 1$

e generano un sottospazio euclideo cui dimensione è al massimo . In questo sottospazio, è la lunghezza quadrata di e $X$ $\mathbf{1}$ $V\subset L^2(\Omega)$ $2$ $||X||_2^2 = \mathbb{E}(X^2)$ $X$ è la lunghezza al quadrato della variabile casuale costante . È fondamentale che sia perpendicolare a . (Una definizione di è che è il numero univoco per cui questo è il caso. È possibile scrivere larelazione $||a\,\mathbf{1}||_2^2 = a^2$ $\omega\to a$ $X-\mu\mathbf{1}$ $\mathbf{1}$ $\mu$ $(1)$

| | X - un' 1 | |_{2}^{2} = | | X - μ 1 | |_{2}^{2} + | | (un' - μ) 1 | |_{2}^{2} .

$||X - a\mathbf{1}||_2^2 = ||X - \mu\mathbf{1}||_2^2 + ||(a-\mu)\mathbf{1}||_2^2.$

È proprio il teorema di Pitagora, essenzialmente nella stessa forma conosciuta 2500 anni fa. L'oggetto è l'ipotenusa di un triangolo rettangolo con le gambe e .

X - un' 1 = (X - μ 1) - (un' - μ) 1

$X-a\mathbf{1} = (X-\mu\mathbf{1})-(a-\mu)\mathbf{1}$

X - μ 1

$X-\mu\mathbf{1}$

(a - μ) 1

$(a-\mu)\mathbf{1}$

Se desideri analogie matematiche, puoi usare tutto ciò che può essere espresso in termini di ipotenusa di un triangolo rettangolo in uno spazio euclideo. L'ipotenusa rappresenterà "l'errore" e le gambe rappresenteranno il bias e le deviazioni dalla media.

— whuber
fonte

Eccellente. Quindi il ragionamento è quasi identico a quello della mia domanda precedente riguardo a

. Quindi c'è un'analogia tra quelli, giusto? Sembra intuitivamente che il pregiudizio sia analogo al significato. E la generalizzazione è che la media è il 1 ° momento rispetto a 0, ma il bias è rispetto al valore reale di un parametro. Suona bene?

V a r = E X^{2} - (E X)^{2}

$Var = EX^2 - (EX)^2$

— Mitch,

Sì - con la condizione (che è un'intuizione aggiunta dall'interpretazione geometrica) che il modo giusto per misurare queste cose è in termini di quadrati.

— whuber

Quindi whuber, ho una domanda correlata. Per ogni apprendimento automatico, ho questi due concetti "se aumentiamo la dimensione del campione, la varianza di uno stimatore asintoticamente imparziale andrà a zero" e "se aumentiamo la complessità del modello, quindi, avremo un basso pregiudizio e una varianza elevata" . Pertanto, posso dire che una maggiore potenza computazionale consente una maggiore complessità che ridurrà la distorsione, ma aumenterà la varianza. Sotto asintotico, tuttavia, questo aumento della varianza sarà compensato.

— ARAT,

@Mustafa Fai alcune assunzioni forti. Il primo è che un campione è casuale e (almeno approssimativamente) indipendente , cosa che spesso non accade nelle applicazioni ML. Le conclusioni sull'aumento della complessità del modello non sono generalmente vere, in parte perché "aumentare la complessità" implica che si sta cambiando il modello e che mette in discussione il significato di ciò che lo stimatore sta stimando e in che modo tale stimatore potrebbe essere correlato al suo stimatore . Non ne consegue necessariamente che la crescente complessità del modello abbia effetti generalmente prevedibili su distorsioni o variazioni.

— whuber

Questo è un modo per pensare visivamente alla precisione e al pregiudizio di varianza. Supponiamo che tu stia guardando un bersaglio e fai molti tiri che sono tutti sparpagliati vicino al centro del bersaglio in modo tale da non avere parzialità. Quindi l'accuratezza è determinata esclusivamente dalla varianza e quando la varianza è piccola, il tiratore è preciso.

Consideriamo ora un caso in cui vi è grande precisione ma grande distorsione. In questo caso i colpi sono sparpagliati in un punto lontano dal centro. Qualcosa sta incasinando il punto di mira, ma attorno a questo punto ogni tiro è vicino a quel nuovo punto. Il tiratore è preciso ma molto impreciso a causa del pregiudizio.

Vi sono altre situazioni in cui gli scatti sono accurati a causa di una leggera distorsione e di un'alta precisione. Ciò che vogliamo non è parzialità e piccola varianza o piccola varianza con una piccola propensione. In alcuni problemi statistici non puoi avere entrambi. Quindi MSE diventa la misura di accuratezza che si desidera utilizzare che gioca con il pregiudizio di varianza e minimizzare MSE dovrebbe essere l'obiettivo.

— Michael R. Chernick
fonte

Eccellente descrizione intuitiva riguardo a bias varianza e precisione e precisione analogia. Sto anche cercando un'interpretazione matematica come il Teorema di Pitagora.

— Mitch

Non mi sono concentrato su questo perché era coperto da un altro post che parlava dell'interpretazione geometrica. Troverò il link per te.

— Michael R. Chernick,

@Mitch La ricerca di "compromesso di bias-varianza" ha prodotto 134 risultati sul sito CV. Non ho ancora trovato il Teorema di Pitagora, ma questo è davvero buono e ha una foto degli obiettivi di cui ho discusso in questo post. "Spiegazione intuitiva del compromesso di bias varianza".

— Michael R. Chernick,

X^{2}

$X^2$

E [X])^{2}

$E[X])^2$

@Mitch Non avevo capito che hai pubblicato la domanda che stavo cercando.

— Michael R. Chernick,