Formula di inerzia a grappolo in scikit learn

Vorrei codificare un cluster di kmean in Python usando Panda e Scikit Learn. Per selezionare il buon k, vorrei codificare la statistica del gap da Tibshirani e al 2001 ( pdf ).

Vorrei sapere se potevo usare il risultato di inerzia di scikit e adattare la formula statistica del gap senza dover ricodificare il calcolo di tutte le distanze.

Qualcuno conosce la formula di inerzia utilizzata in scikit / conosce un modo semplice per ricodificare la statistica del gap usando funzioni di distanza di alto livello?

— Graffiare
fonte

Penso che questa domanda abbia un contenuto statistico sufficiente per essere in argomento per CV, ma nota che richiede anche una programmazione abbastanza sofisticata e conoscenza di Python. Potrebbe essere difficile ottenere una buona risposta. Potresti voler chiedere / essere disposto a accontentarti anche di pseudocodice , e / o potresti dover dividere questa domanda in 2 parti, 1 qui sugli aspetti statistici e 1 parte su Stack Overflow sugli aspetti di programmazione di Python. (O forse no, non lo so per certo, ma voglio solo darti un giusto avvertimento; vedremo come va.)

— gung - Reinstalla Monica

Questa domanda ha bisogno di definire il termine "inerzia". Sembra coniato al suo interno python.

— ttnphns,

Immagino di aver trovato la mia risposta per il raggruppamento dei kmean:

Osservando il codice sorgente di git, ho scoperto che per scikit learn l'inerzia viene calcolata come la somma della distanza quadrata per ciascun punto rispetto al centroide più vicino, ovvero al cluster assegnato. Quindi dove è il centroide del cluster assegnato e è la distanza al quadrato. $I = \sum_{i}(d(i,cr))$ $cr$ $d$

Ora la formula della statistica gap comprende dove è la somma delle distanze al quadrato tra tutti i punti nel cluster .

W_{k} = \sum_{r = 1}^{k} \frac{1}{(2 * n_{r})} D_{r}

$W_k = \sum_{r=1}^{k}\frac 1 {(2*n_r) }D_r$

D_{r}

$D_r$

r

$r$

Introducendo , nella formula della distanza quadrata ( essendo il centroide delle coordinate del cluster ), ho un termine che corrisponde all'inerzia (come in scikit) + un termine che scompare se ogni è il baricentro di ciascun cluster (che dovrebbe essere in kmean). Quindi immagino che sia in realtà scikit Inertia. $+c$ $-c$ $c$ $r$ $c$ $W_k$

Ho ancora due domande:

Pensi che il mio calcolo sia corretto? (Ad esempio, non so se valga per il clustering gerarchico.)
Se ho ragione sopra, ho codificato la statistica gap (come differenza di inerzia del log tra stima e clustering) e funziona male soprattutto nel set di dati dell'iride, qualcuno l'ha provato?

— Graffiare
fonte

È meglio non porre domande nelle risposte. Se questa non è davvero la risposta alla tua domanda, ma solo una soluzione parziale per chiarire la vera domanda, sarebbe meglio modificare la tua domanda e incollare queste informazioni.

— gung - Reinstate Monica

@Scratch hai mai avuto un'implementazione Python della statistica gap per lavorare sul set di dati Iris? Sto lottando con lo stesso problema.

— Zelazny7,

Sì, ne ho codificato uno qualche mese fa. Come posso inviarlo?

— Gratta il

La formula non dovrebbe essere questa ?

W_{k} = \sum_{r = 1}^{k} \frac{D_{r}}{(2 * n_{r})}

$W_k = \sum_{r=1}^{k}\frac {D_r} {(2*n_r) }$

— Biswanath,