Perché k-mean non fornisce il minimo globale?

Ho letto che l'algoritmo k-mean converge solo in un minimo locale e non in un minimo globale. Perchè è questo? Posso logicamente pensare a come l'inizializzazione possa influenzare il clustering finale e c'è una possibilità di clustering non ottimale, ma non ho trovato nulla che lo dimostrasse matematicamente.

Inoltre, perché k-significa un processo iterativo? Non possiamo semplicemente differenziare parzialmente la funzione oggettiva rispetto ai centroidi, equipararla a zero per trovare i centroidi che minimizzano questa funzione? Perché dobbiamo usare la discesa gradiente per raggiungere il minimo passo dopo passo?

Puoi vedere k-mean come una versione speciale dell'algoritmo EM, che può aiutare un po '.

Supponiamo che stiate stimando una distribuzione normale multivariata per ciascun cluster con la matrice di covarianza fissata alla matrice identità per tutti, ma media variabile dove i è l'indice del cluster. Chiaramente, se i parametri { μ i } sono noti, è possibile assegnare a ciascun punto p il suo cluster di massima probabilità (cioè il μ i per il quale la distanza da p in minima). L'algoritmo EM per questo problema è quasi equivalente a k-medie.$\mu_i$$i$$\{\mu_i\}$$p$$\mu_i$$p$

Al contrario, se sai quali punti appartengono a quale cluster, puoi stimare il ottimale . La soluzione in forma chiusa a questo (che trova un ottimo globale) in pratica dice che per trovare i modelli di massima verosimiglianza { μ i } di integrare su tutte le possibili assegnazioni di punti ai cluster. Poiché anche con solo trenta punti e due cluster, ci sono circa un miliardo di incarichi possibili, questo è impossibile da calcolare.$\mu_i$$\{\hat\mu_i\}$

Invece, possiamo ipotizzare i parametri nascosti (o i parametri del modello) e ripetere i due passaggi (con la possibilità di finire con un massimo locale). Se si consente a ciascun cluster di assumersi una parziale responsabilità per un punto, si finisce con EM, se si assegna semplicemente il cluster ottimale, si ottiene k-medie.

Quindi, riassunto esecutivo: in termini probabilistici, esiste una soluzione globale, ma richiede di scorrere su tutti i cluster possibili. Chiaramente se hai una funzione oggettiva, lo stesso vale. È possibile iterare su tutte le soluzioni e massimizzare la funzione obiettiva, ma il numero di iterazioni è esponenziale nella dimensione dei dati.

Questo è il problema che vuoi risolvere:

$$\begin{align} &\min_{x} \sum_{i=1}^n \sum_{j=1}^k x_{ij} || p_i - c_j||^2\\ &\text{subject to:} \\ &\sum_{j=1}^k x_{ij} = 1 \quad \forall i\\ & c_j\textit{ is the centroid of cluster j}\\ &x_{ij} \in \{0,1\} \quad \forall i, j \\ \end{align}$$

La variabile binaria indica se il punto i è assegnato o meno al cluster j . I simboli p i e c j indicano rispettivamente le coordinate dell'i e del punto e centroide del j cluster. Si trovano entrambi in R d , dove d è la dimensionalità dei punti dati.$x_{ij}$$i$$j$$p_i$$c_j$$i$$j$$\mathbb{R}^d$$d$

Il primo gruppo di vincoli afferma che ogni punto dovrebbe essere assegnato esattamente a un cluster. Il secondo gruppo di vincoli (che non abbiamo definito matematicamente) afferma che le coordinate del centroide del cluster dipendono effettivamente dai valori delle variabili x i j . Possiamo ad esempio esprimere questo vincolo come segue: c j = ∑ i x i j p i $j$$x_{ij}$

$$\begin{equation} c_j = \frac{\sum_{i} x_{ij} p_{ij}}{\sum_{i} x_{ij}} \end{equation}$$

Tuttavia, invece di affrontare questi vincoli non lineari, in K-Means (approssimativamente) risolviamo un problema diverso che ha la stessa soluzione ottimale del nostro problema originale:

$$\begin{align} &\min_{x} \sum_{i=1}^n \sum_{j=1}^k x_{ij} || p_i - y_j||^2\\ &\text{subject to:} \\ &\sum_{j=1}^k x_{ij} = 1 \quad \forall i\\ &x_{ij} \in \{0,1\} \quad \forall i, j \\ &y_j \in \mathbb{R}^d \quad \forall j \end{align}$$

Invece di ridurre al minimo la distanza dai centroidi, riduciamo al minimo la distanza a qualsiasi set di punti che fornirà una soluzione migliore. Si scopre che questi punti sono esattamente i centroidi.

Ora per risolvere questo problema, ripetiamo i passaggi 2-3 di questo algoritmo, fino alla convergenza:

1. Assegna alcuni valori alle variabili $y_j$
2. $y_{j}$$x_{ij}$
3. $x_{ij}$$y_{j}$

In ogni passaggio la funzione obiettivo migliora (o rimane invariata quando l'algoritmo converge), poiché la soluzione trovata nel passaggio precedente è nello spazio di ricerca del passaggio corrente. Tuttavia, poiché stiamo correggendo alcune delle variabili in ogni passaggio, questa è una procedura di ricerca locale che non garantisce l'ottimalità.

$x_{ij}$$y_j$$y_j$$x_{ij}$$y_j$

Un semplice esempio potrebbe aiutare ..

Definiamo l'insieme di punti da raggruppare come A = {1,2,3,4}.

Supponiamo che tu stia cercando di trovare 2 cluster appropriati per A (2 mezzi). Esistono (almeno) due diverse impostazioni che soddisfano la condizione stazionaria di k-medie.

Impostazione 1:

Center1 = 1, Cluster1 = {1}
Center2 = 3, Cluster1 = {2,3,4}

Qui l'obiettivo è 2. In realtà questo è un punto di sella (prova center1 = 1 + epsilone center1 = 1 - epsilon)

Impostazione 1:

Center1 = 1.5, Cluster1 = {1,2}
Center2 = 3.5, Cluster1 = {3,4}

qui l'obiettivo è 1/4.

Se k-mean fosse inizializzato come prima impostazione, sarebbe bloccato ... e questo non è affatto un minimo globale.

È possibile utilizzare una variante dell'esempio precedente per creare due diversi minimi locali. Per A = {1,2,3,4,5}, l'impostazione cluster1={1,2}e cluster2={3,4,5}porterebbe allo stesso valore oggettivo di cluster1={1,2,3}ecluster2={4,5}

Infine, cosa succederebbe se scegliessi

A = {1,2,3,4,6}
center1={2.5} cluster1={1,2,3,4} and 
center1={6} cluster1={6}

vs

center1={2} cluster1={1,2,3} and 
center1={5} cluster1={4,6}

?

[Questo era prima della risposta di @Peter]
Dopo una piccola discussione (nella sezione commenti), sento di dover rispondere alla mia domanda.

Credo che quando differenzio parzialmente la funzione oggettiva rispetto a un centroide, i punti nel cluster di un altro centroide svaniscono nella derivata. Quindi, il centroide che possiamo ottenere minimizzerà solo la somma delle distanze quadrate del solo cluster particolare.

@whuber aggiunge:

In parte è tutto, ma non spiega davvero il comportamento. Di maggiore importanza è il fatto che l'assegnazione di punti ai centroidi sia la parte principale di ciò che k-mean sta facendo. (Una volta assegnato il compito, i centroidi vengono calcolati facilmente e non c'è più niente da fare.) Il compito è discreto: non è qualcosa che può essere differenziato.

Sarebbe fantastico se qualcuno avesse altro da aggiungere.

Tutti hanno spiegato tutto, ma vorrei aggiungere che se i dati di un campione non vengono distribuiti come una distribuzione gaussiana, possono rimanere bloccati a minimi locali. Nell'algoritmo K-mean stiamo effettivamente cercando di ottenerlo.