Convergenza nel metodo k-media di Hartigan-Wong e altri algoritmi

Ho cercato di comprendere i diversi algoritmi di clustering di k-means principalmente implementati nel statspacchetto del Rlinguaggio.

Capisco l'algoritmo di Lloyd e l'algoritmo online di MacQueen. Il modo in cui li capisco è il seguente:

Algoritmo di Lloyd:

Inizialmente vengono scelte le osservazioni casuali "k" che serviranno da centroidi dei cluster "k". Quindi i seguenti passaggi si verificano nell'iterazione fino a quando i centroidi convergono.

1. Viene calcolata la distanza euclidea tra ciascuna osservazione e i centroidi scelti.
2. Le osservazioni più vicine a ciascun centroide sono etichettate all'interno di secchi 'k'.
3. La media di tutte le osservazioni in ciascun secchio funge da nuovo centroide.
4. I nuovi centroidi sostituiscono i vecchi centroidi e l'iterazione ritorna al passaggio 1 se i vecchi e nuovi centroidi non sono convergenti.

Le condizioni per la convergenza sono le seguenti: il vecchio e il nuovo centroide sono esattamente identici, la differenza tra i centroidi è piccola (dell'ordine di 10 ^ -3) o viene raggiunto il numero massimo di iterazioni (10 o 100).

Algoritmo di MacQueen:

Questa è una versione online in cui le prime istanze 'k' sono scelte come centroidi.

Quindi ogni istanza viene posizionata in bucket in base al centroide più vicino a tale istanza. Il rispettivo centroide viene ricalcolato.

Ripetere questo passaggio fino a quando ogni istanza non viene posizionata nel bucket appropriato.

Questo algoritmo ha solo un'iterazione e il ciclo continua per le istanze 'x'

Algoritmo di Hartigan-Wong:

1. Assegna tutti i punti / istanze a bucket casuali e calcola il rispettivo centroide.
2. A partire dalla prima istanza trova il centroide più vicino e assilla quel secchio. Se il bucket è stato modificato, ricalcolare i nuovi centroidi, ovvero il centroide del bucket appena assegnato e il centroide della vecchia assegnazione di bucket, in quanto questi sono due centroidi interessati dalla modifica
3. Passa attraverso tutti i punti e ottieni nuovi centroidi.
4. Esegui una seconda ripetizione dei punti 2 e 3 che eseguono una sorta di operazione di pulizia e riassegnano i punti randagi per correggere i bucket.

Quindi questo algoritmo esegue 2 iterazioni prima di vedere il risultato della convergenza.

Ora, non sono sicuro che ciò che penso al punto 4 dell'algoritmo di Hartigan-Wong sia il metodo corretto dell'algoritmo. La mia domanda è: se il seguente metodo per Hartigan-Wong è il metodo corretto per implementare k-mean? Ci sono solo due iterazioni per questo metodo? in caso contrario, qual è la condizione per la convergenza (quando fermarsi)?

Un'altra possibile spiegazione dell'implementazione è ciò che capisco.

1. Assegna tutti i punti / istanze a bucket casuali e calcola il rispettivo centroide.
2. A partire dalla prima istanza trova il centroide più vicino e assegna quel bucket. Se il bucket è cambiato, ricalcolare i nuovi centroidi, ovvero il centroide del bucket appena assegnato e il centroide della vecchia assegnazione di bucket, poiché questi sono due centroidi interessati dalla modifica.
3. Dopo aver apportato una modifica al bucket per qualsiasi punto, tornare alla prima istanza e ripetere nuovamente i passaggi.
4. L'iterazione termina quando tutte le istanze sono ripetute e nessuno dei punti cambia bucket.

In questo modo ci sono molte iterazioni che iniziano ripetutamente dall'inizio del set di dati ogni volta che un'istanza cambia bucket.

Qualsiasi spiegazione sarebbe utile e per favore fatemi sapere se la mia comprensione per uno di questi metodi è sbagliata.

L'algoritmo di HW, dall'articolo del 1979, prende come input i cluster iniziali. Tuttavia, gli autori suggeriscono un metodo per ottenerli nella loro ultima sezione. Scrivono che è garantito che nessun cluster sarà vuoto dopo l'assegnazione iniziale nella subroutine . Va come segue:

1. $\bar{x}$
2. $\bar{x}$$||x_i - \bar{x}||_2$
3. $\{ 1 + (L-1) [M/K] \}$$L=1, \dots, K$$[\ \cdot\ ]$$1$

Per quanto riguarda l'algoritmo principale, è descritto in un documento chiamato K-Mezzi di Hartigan contro K-Mezzi di Lloyd: è tempo di cambiare? di N Slonim, E Aharoni, K Crammer, pubblicato nel 2013 da AJCAI . Nota che questa versione utilizza semplicemente una partizione iniziale casuale. Va come segue.

$x \in \mathcal{X}$$K$

1. $\mathcal{C}$$\mathcal{X}$$K$$C \in \mathcal{C}$$v_C$

2. $\mathcal{X}$$x \in \mathcal{X}$

   $s = 1$

   $x$$C$$C^{-} = C \setminus \{ x \}$

   $$\begin{align*} C^+ = \Big\{ \mathrm{argmin}_{C^* \in (\mathcal{C} \setminus C) \cup C^{-}}\ \frac{1}{n} d(x,v_C^*) + \frac{1}{n} \sum_{y \in C^*} [d(y,v_{C^* \cup x}) - d(y,v_{C^*})] \Big\} \cup \{ x \} \end{align*}$$

   $C^{+} \neq C$$C \leftarrow C^{-}$$C^* \leftarrow C^{+}$$v_{C}$$v_{C^*}$$s \leftarrow 0$

3. $s=0$

$C^*$$\mathrm{argmin}$$x$$C^*$$d$$v_C$$v_{C^* \cup \{x \}}$

Penso che le risposte a tutte le tue domande siano implicite nell'algoritmo sopra ... Tuttavia, devo ancora assicurarmi che questa implementazione dell'algoritmo sia standard . In particolare se è quello implementato in R. Eventuali commenti / modifiche sono i benvenuti.