Inizializzazione di centri K-media mediante sottocampioni casuali del set di dati?

Se ho un determinato set di dati, quanto sarebbe intelligente inizializzare i centri di cluster usando i campioni casuali di quel set di dati?

Ad esempio, supponiamo che io voglia 5 clusters. Prendo 5 random samplesdi dire, size=20%del dataset originale. Potrei quindi prendere la media di ciascuno di questi 5 campioni casuali e usare quei mezzi come i miei 5 centri di cluster iniziali? Non so dove ho letto questo, ma volevo sapere cosa ne pensate dell'idea.

AGGIORNAMENTO: Vedi questa discussione Inizializzazione del clustering dei mezzi K: quali sono i metodi esistenti? per la discussione generale sui vari metodi di inizializzazione.

Se casualmente il campione in 5 sottocampioni, i tuoi 5 mezzi quasi coincideranno. Qual è il senso di rendere così vicini i centri dei cluster iniziali?

In molte implementazioni di K-medie, la selezione predefinita dei centri di cluster iniziali si basa sull'idea opposta: trovare i 5 punti più distanti e renderli i centri iniziali. Potresti chiedere quale potrebbe essere il modo di trovare quei punti distanti? Ecco cosa sta facendo SP-K-mean per questo:

Prendi i k casi (punti) del set di dati come centri iniziali. Tutti gli altri casi vengono verificati per la possibilità di sostituire quelli come centri iniziali, alle seguenti condizioni:

• a) Se il caso è più lontano dal centro più vicino ad esso rispetto alla distanza tra i due più vicini gli uni agli altri centri, il caso sostituisce quel centro degli ultimi due a cui è più vicino.
• b) Se il caso è più lontano dal centro 2 ° più vicino ad esso della distanza tra il centro più vicino ad esso e il centro più vicino a quest'ultimo, il caso sostituisce il centro più vicino ad esso.

Se la condizione (a) non è soddisfatta, la condizione (b) è controllata; se non è soddisfatto, il caso non diventa un centro. Come risultato di tali casi, si ottengono k casi nel cloud che diventano i centri iniziali. Il risultato di questo algoritmo, sebbene abbastanza robusto, non è completamente insensibile alla scelta iniziale di "eventuali k casi" e all'ordinamento dei casi nel set di dati; quindi, molti tentativi di avvio casuali sono ancora ben accetti, come sempre nel caso di K-medie.

Vedi la mia risposta con un elenco di metodi di inizializzazione popolari per k-mean. Anche il metodo di suddivisione in sottocampioni casuali (criticato qui da me e da altri) così come il metodo descritto utilizzato da SPSS - sono nell'elenco.

I mezzi saranno troppo simili. Puoi anche trovare la media del set di dati, quindi posizionare i centroidi iniziali in un piccolo cerchio / sfera attorno a questa media.

Se vuoi vedere qualche altro schema di inizializzazione del suono per k-mean, dai un'occhiata a k-means ++. Hanno escogitato un metodo abbastanza intelligente per seminare k-medie.

• Arthur, D. e Vassilvitskii, S. (2007).
  k-mean ++: i vantaggi di un'attenta semina ".
  Atti del diciottesimo simposio annuale ACM-SIAM su algoritmi discreti

Diapositive dell'autore: http://www.ima.umn.edu/~iwen/REU/BATS-Means.pdf

L'uso di campioni casuali ti darà l'opposto di ciò di cui hai bisogno, come ha sottolineato ttnphns nel suo commento. Ciò di cui avremmo bisogno è un modo per trovare punti dati abbastanza distanti tra loro.

Idealmente, potresti iterare su tutti i punti, trovare le distanze tra loro, determinare dove sono le distanze più grandi ...

Non per eludere l'intenzione del PO, ma penso che la "soluzione" sia integrata nell'algoritmo k-mean. Eseguiamo più iterazioni e ricalcoliamo i centroidi del cluster in base alle iterazioni precedenti. Solitamente eseguiamo anche l'algoritmo kmeano più volte (con valori iniziali casuali) e confrontiamo i risultati.

Se uno ha una conoscenza a priori , conoscenza del dominio, ciò potrebbe portare a un metodo superiore per identificare dove dovrebbero essere i centri di cluster iniziali. Altrimenti, probabilmente si tratta di selezionare punti di dati casuali come valori iniziali e quindi utilizzare più esecuzioni e più iterazioni per esecuzione.

Le risposte proposte sono tutte efficaci, ma sono molto più difficili da rendere operative rispetto alla proposta originale. Un modo molto semplice per inizializzare è prendere$k$osservazioni casuali come punti originali. La probabilità di chiudere due punti iniziali è piuttosto bassa e l'algoritmo viene eseguito rapidamente per tutti tranne i casi più estremi.