Ciclismo nell'algoritmo k-mean

9

Secondo wiki il criterio di convergenza più utilizzato è "l'assegnazione non è cambiata". Mi chiedevo se il ciclismo può verificarsi se usiamo tale criterio di convergenza? Mi farebbe piacere se qualcuno indicasse un riferimento a un articolo che fornisce un esempio di ciclismo o dimostra che ciò è impossibile.

clustering algorithms k-means

— Tomek Tarczynski
fonte

2

Consentitemi di sottolineare (dal momento che spesso è stato trascurato) che le prove di convergenza necessitano di una distanza euclidea (quadrata) , in modo che la funzione distanza e la funzione media ottimizzino lo stesso criterio. Se usi una distanza diversa (in realtà, non dovresti usare una distanza, ma "la somma minima di quadrati") potresti perdere la convergenza in k-medie.

— Ha QUIT - Anony-Mousse il

7

Questo documento sembra dimostrare la convergenza in un numero finito di passaggi.

— Simon Byrne
fonte

1

Esattamente quello che stavo cercando!

— Tomek Tarczynski,

4

$k$ $k$ $k$

— Suresh Venkatasubramanian
fonte

Grazie, è intuitivo che la funzione oggettiva diminuisca, ma non ero sicuro che diminuisse rigorosamente. Volevo assicurarmi che non esistesse un caso patologico proprio come nella programmazione lineare

— Tomek Tarczynski,

Bene sì e no. Mentre converge, può richiedere tempo esponenziale, proprio come fa Simplex. Inoltre, per entrambi i problemi, puoi mostrare che le varianti "levigate" convergono nel tempo polinomiale

— Suresh Venkatasubramanian,

2

Con precisione finita , potrebbe apparire il ciclismo.

Il ciclismo è frequente nella precisione singola, eccezionale nella precisione doppia.

Quando si avvicina al minimo locale, la funzione obiettivo a volte può aumentare leggermente a causa di errori di arrotondamento. Questo è spesso innocuo poiché la funzione dell'algoritmo diminuisce di nuovo e alla fine raggiunge un minimo locale. Ma a volte, l'algoritmo fa un passo su un compito precedentemente visitato e inizia a pedalare.

È facile e sicuro controllare i cicli nelle implementazioni dei criteri di arresto nel mondo reale.

— François Pays
fonte