Statistiche e Big Data distance-functions

8

Perché la distanza euclidea non è una buona metrica in dimensioni elevate?

Ho letto che "la distanza euclidea non è una buona distanza in dimensioni elevate". Immagino che questa affermazione abbia qualcosa a che fare con la maledizione della dimensionalità, ma cosa esattamente? Inoltre, che cosa sono le "alte dimensioni"? Ho applicato il clustering gerarchico usando la distanza euclidea con 100 funzioni. …

241 machine-learning clustering distance-functions metric high-dimensional

6

Scelta di un metodo di clustering

Quando si utilizza l'analisi dei cluster su un set di dati per raggruppare casi simili, è necessario scegliere tra un gran numero di metodi di clustering e misure di distanza. A volte, una scelta potrebbe influenzare l'altra, ma ci sono molte possibili combinazioni di metodi. Qualcuno ha qualche consiglio su …

73 clustering distance-functions methodology

6

Perché l'algoritmo di clustering k-mean usa solo la metrica della distanza euclidea?

Esiste uno scopo specifico in termini di efficienza o funzionalità perché l'algoritmo k-mean non utilizza ad esempio la cosine (dis) somiglianza come metrica della distanza, ma può usare solo la norma euclidea? In generale, il metodo K-mean sarà conforme e sarà corretto quando verranno prese in considerazione o utilizzate distanze …

62 clustering k-means distance-functions euclidean

3

Qual è la distribuzione della distanza euclidea tra due variabili casuali normalmente distribuite?

Supponiamo che ti vengano dati due oggetti le cui posizioni esatte sono sconosciute, ma sono distribuiti secondo le normali distribuzioni con parametri noti (ad esempio e . Possiamo assumere questi sono entrambi normali bivariate, in modo tale che le posizioni sono descritti da una distribuzione su coordinate (cioè e sono …

41 normal-distribution distance-functions

2

Distanza Kullback – Leibler vs Kolmogorov-Smirnov

Vedo che ci sono molte differenze formali tra le misure di distanza Kullback – Leibler vs Kolmogorov-Smirnov. Tuttavia, entrambi vengono utilizzati per misurare la distanza tra le distribuzioni. Esiste una situazione tipica in cui uno dovrebbe essere usato anziché l'altro? Qual è la logica per farlo?

37 distributions distance-functions kolmogorov-smirnov kullback-leibler

2

Clustering gerarchico con dati di tipo misto: quale distanza / somiglianza usare?

Nel mio set di dati abbiamo variabili sia continue che naturalmente discrete. Voglio sapere se possiamo fare un cluster gerarchico usando entrambi i tipi di variabili. E se sì, quale misura di distanza è appropriata?

34 clustering similarities distance-functions mixed-type-data

1

Confronto di dendrogrammi di clustering gerarchici ottenuti con distanze e metodi diversi

[Il titolo iniziale "Misurazione della somiglianza per gli alberi del cluster gerarchico" è stato successivamente modificato da @ttnphns per riflettere meglio l'argomento] Sto eseguendo una serie di analisi di gruppi gerarchici su un frame di dati dei record dei pazienti (ad esempio simile a http://www.biomedcentral.com/1471-2105/5/126/figure/F1?highres=y ) Sto sperimentando misure di …

28 r clustering distance-functions similarities dendrogram

5

Misurare la "distanza" tra due distribuzioni multivariate

Sto cercando una buona terminologia per descrivere ciò che sto cercando di fare, per rendere più semplice la ricerca di risorse. Quindi, supponiamo di avere due gruppi di punti A e B, ciascuno associato a due valori, X e Y, e voglio misurare la "distanza" tra A e B, ovvero …

28 multivariate-analysis terminology distance-functions

2

Esiste uno stimatore imparziale della distanza di Hellinger tra due distribuzioni?

In un'impostazione in cui si osserva X1,…,XnX1,…,XnX_1,\ldots,X_n distribuito da una distribuzione con densità fff , mi chiedo se esiste uno stimatore imparziale (basato sulla XiXiX_i ) della distanza di Hellinger ad un'altra distribuzione con densità f0f0f_0 , vale a dire H(f,f0)={1−∫Xf(x)f0(x)−−−−−−−−√dx}1/2.H(f,f0)={1−∫Xf(x)f0(x)dx}1/2. \mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.

20 pdf unbiased-estimator distance-functions functional-data-analysis hellinger

1

Quando utilizzare la distanza euclidea ponderata e come determinare i pesi da utilizzare?

Ho una serie di dati in cui ogni dato è costituito da misure diverse. Per ogni misura, ho un valore di riferimento. Vorrei sapere quanto vicino ogni dato è al valore di riferimento.nnn Ho pensato di usare la distanza euclidea ponderata in questo modo: dx , b= ( ∑ni = …

16 distance-functions

1

Cluster: dovrei usare la Divergenza di Jensen-Shannon o il suo quadrato?

Sto raggruppando le distribuzioni di probabilità utilizzando l' algoritmo Propination Affinity e intendo utilizzare la divergenza di Jensen-Shannon come metrica della distanza. È corretto utilizzare JSD stesso come distanza o JSD al quadrato? Perché? Quali differenze deriverebbero dalla scelta dell'uno o dell'altro?

15 machine-learning clustering entropy distance-functions

3

Va bene usare la distanza di Manhattan con il collegamento tra cluster di Ward nel cluster gerarchico?

Sto usando il clustering gerarchico per analizzare i dati delle serie temporali. Il mio codice è implementato usando la funzione MathematicaDirectAgglomerate[...] , che genera cluster gerarchici dati i seguenti input: una matrice di distanza D il nome del metodo utilizzato per determinare il collegamento tra cluster. Ho calcolato la matrice …

15 clustering distance-functions ward

3

Metriche o per il clustering?

Qualcuno usa le metriche o per il clustering anziché ? Aggarwal et al., Sul comportamento sorprendente delle metriche della distanza nello spazio ad alta dimensione, ha detto (nel 2001) cheL1L1L_1L.5L.5L_.5L2L2L_2 L1L1L_1 è decisamente più preferibile della metrica di distanza euclidea per applicazioni di data mining ad alta dimensioneL2L2L_2 e ha …

14 clustering distance-functions rule-of-thumb

3

Punteggio e somiglianza euclidea della distanza

Sto solo lavorando con il libro Collective Intelligence (di Toby Segaran) e mi sono imbattuto nel punteggio di distanza euclideo. Nel libro l'autore mostra come calcolare la somiglianza tra due array di raccomandazioni (cioè .persona × film ↦ punteggio )person×movie↦score)\textrm{person} \times \textrm{movie} \mapsto \textrm{score}) Calcola la distanza euclidea di due …

13 distance-functions similarities

1

Differenze tra PROC Mixed e lme / lmer in R - gradi di libertà

Nota: questa domanda è una risposta, poiché la mia domanda precedente doveva essere cancellata per motivi legali. Confrontando PROC MIXED da SAS con la funzione lmedel nlmepacchetto in R, mi sono imbattuto in alcune differenze piuttosto confuse. Più specificamente, i gradi di libertà nei diversi test differiscono tra PROC MIXEDe …

12 r mixed-model sas degrees-of-freedom pdf unbiased-estimator distance-functions functional-data-analysis hellinger time-series outliers c++ relative-risk absolute-risk rare-events regression t-test multiple-regression survival teaching multiple-regression regression self-study t-distribution machine-learning recommender-system self-study binomial standard-deviation data-visualization r predictive-models pearson-r spearman-rho r regression modeling r categorical-data data-visualization ggplot2 many-categories machine-learning cross-validation weka microarray variance sampling monte-carlo regression cross-validation model-selection feature-selection elastic-net distance-functions information-theory r regression mixed-model random-effects-model fixed-effects-model dataset data-mining

Domande taggate «distance-functions»