Perché in questo caso la soluzione meno quadrata offre scarsi risultati?

C'è un'immagine nella pagina 204, capitolo 4 di "Riconoscimento di modelli e apprendimento automatico" di Bishop, in cui non capisco perché la soluzione del quadrato minimo dia scarsi risultati qui:

Il paragrafo precedente riguardava il fatto che le soluzioni dei minimi quadrati mancano di robustezza per i valori anomali, come si vede nella seguente immagine, ma non capisco cosa stia succedendo nell'altra immagine e perché LS fornisca anche scarsi risultati.

$\geq 3$

In ESL , Figura 4.2 a pagina 105, il fenomeno è chiamato mascheramento . Vedi anche ESL Figura 4.3. La soluzione dei minimi quadrati si traduce in un predittore per la classe media che è principalmente dominato dai predittori per le altre due classi. LDA o regressione logistica non soffrono di questo problema. Si può dire che è la struttura rigida del modello lineare delle probabilità di classe (che è essenzialmente ciò che si ottiene dai minimi quadrati adatti) che causa il mascheramento.

$-$

Modifica: il mascheramento è forse più facilmente visualizzabile per un problema bidimensionale, ma è anche un problema nel caso monodimensionale, e qui la matematica è particolarmente semplice da capire. Supponiamo che le variabili di input unidimensionali siano ordinate come

$$x_1 < \ldots < x_k < y_1 < \ldots y_m < z_1 < \ldots < z_n$$

$x$$y$$z$

$$\begin{array}{c|cccccccc} & 1 & \ldots & 1 & 0 & \ldots & 0 & 0 & \ldots & 0 \\ \mathbf{T}^T & 0 & \ldots & 0 & 1 & \ldots & 1 & 0 & \ldots & 0 \\ & 0 & \ldots & 0 & 0 & \ldots & 0 & 1 & \ldots & 1 \\ \hline \mathbf{x}^T & x_1 & \ldots & x_k & y_1 & \ldots & y_m & z_1 & \ldots & z_n \\ \end{array}$$

$\mathbf{T}$$\mathbf{x}$$x$$z$$y$-classe, la regressione lineare dovrà bilanciare gli zero per le due classi esterne con quelli della classe media risultando in una linea di regressione piuttosto piatta e un adattamento particolarmente scarso delle probabilità della classe condizionale per questa classe. A quanto pare, il massimo delle linee di regressione per le due classi esterne domina la linea di regressione per la classe media per la maggior parte dei valori della variabile di input e la classe media è mascherata dalle classi esterne.

$k = m = n{}$$(\bar{x}, 1/3)$

$$\bar{x} = \frac{1}{3k}\left(x_1 + \ldots + x_k + y_1 + \ldots + y_m + z_1 + \ldots + z_n\right).$$

Sulla base del link fornito di seguito, i motivi per cui il discriminante LS non sta
andando bene nel grafico in alto a sinistra sono i seguenti: -La mancanza di robustezza agli outlier.
- Alcuni set di dati non idonei per la classificazione dei minimi quadrati.
- Il limite di decisione corrisponde alla soluzione ML sotto distribuzione condizionale gaussiana. Ma i valori target binari hanno una distribuzione lontana dal gaussiano.

Guarda pagina 13 in Svantaggi dei minimi quadrati.

Credo che il problema nel tuo primo grafico sia chiamato "mascheramento", ed è menzionato in "Gli elementi dell'apprendimento statistico: data mining, inferenza e previsione" (Hastie, Tibshirani, Friedman. Springer 2001), pagine 83-84.

Intuitivamente (che è il massimo che posso fare) credo che ciò sia dovuto al fatto che le previsioni di una regressione OLS non sono vincolate a [0,1], quindi puoi finire con una previsione di -0.33 quando vuoi davvero di più come 0 .. 1, che puoi ottenere nel caso di due classi, ma più classi hai, più è probabile che questa discrepanza causi un problema. Credo.

Il minimo quadrato è sensibile alla scala (poiché i nuovi dati sono di scala diversa, inclinerà il limite decisionale), di solito è necessario applicare pesi (significa che i dati da inserire nell'algoritmo di ottimizzazione sono della stessa scala) o eseguire una trasformazione adeguata (centro medio, registro (1 + dati) ... ecc.) sui dati in questi casi. Sembra che Least Square funzionerebbe perfettamente se gli chiedessi di fare un'operazione di classificazione 3 nel qual caso e unire due classi di output alla fine.