Statistiche e Big Data metric

8

Perché la distanza euclidea non è una buona metrica in dimensioni elevate?

Ho letto che "la distanza euclidea non è una buona distanza in dimensioni elevate". Immagino che questa affermazione abbia qualcosa a che fare con la maledizione della dimensionalità, ma cosa esattamente? Inoltre, che cosa sono le "alte dimensioni"? Ho applicato il clustering gerarchico usando la distanza euclidea con 100 funzioni. …

241 machine-learning clustering distance-functions metric high-dimensional

6

Percentuale di regioni sovrapposte di due distribuzioni normali

Mi chiedevo, date due distribuzioni normali con eσ1, μ 1σ1, μ1\sigma_1,\ \mu_1σ2, μ 2σ2, μ2\sigma_2, \ \mu_2 come posso calcolare la percentuale di regioni sovrapposte di due distribuzioni? Suppongo che questo problema abbia un nome specifico, sei a conoscenza di qualche nome particolare che descriva questo problema? Sei a conoscenza …

46 normal-distribution similarities metric bhattacharyya

4

Richiamo e precisione nella classificazione

Ho letto alcune definizioni di richiamo e precisione, anche se è sempre nel contesto del recupero delle informazioni. Mi chiedevo se qualcuno potesse spiegarlo un po 'di più in un contesto di classificazione e forse illustrare alcuni esempi. Ad esempio, ho un classificatore binario che mi dà una precisione del …

40 machine-learning metric

1

Ripetibilità informatica degli effetti da un modello più leggero

Mi sono appena imbattuto in questo documento , che descrive come calcolare la ripetibilità ( nota anche come affidabilità, nota anche come correlazione intraclasse) di una misurazione tramite la modellazione di effetti misti. Il codice R sarebbe: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) …

28 mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

3

Quali sono i vantaggi della metrica di Wasserstein rispetto alla divergenza di Kullback-Leibler?

Qual è la differenza pratica tra la metrica di Wasserstein e la divergenza di Kullback-Leibler ? La metrica di Wasserstein è anche indicata come distanza del movimento terra . Da Wikipedia: La metrica di Wasserstein (o Vaserstein) è una funzione di distanza definita tra le distribuzioni di probabilità su un …

25 distributions kullback-leibler metric wasserstein

5

Come controllare il costo dell'errata classificazione nelle foreste casuali?

È possibile controllare il costo dell'errata classificazione nel pacchetto R randomForest ? Nel mio lavoro, i falsi negativi (ad esempio, la mancanza di errori che una persona potrebbe avere una malattia) sono molto più costosi dei falsi positivi. Il pacchetto rpart consente all'utente di controllare i costi di classificazione errata …

21 r classification random-forest loss-functions metric

2

Confronto tra clustering: indice di Rand e variazione delle informazioni

Mi chiedevo se qualcuno avesse qualche intuizione o intuizione dietro la differenza tra la Variazione delle Informazioni e l' Indice Rand per il confronto dei cluster. Ho letto l'articolo " Comparing Clusterings - An Information Based Distance " di Marina Melia (Journal of Multivariate Analysis, 2007), ma, oltre a notare …

21 machine-learning clustering metric

2

Come si confrontano due processi gaussiani?

La divergenza di Kullback-Leibler è una metrica per confrontare due funzioni di densità di probabilità, ma quale metrica viene utilizzata per confrontare due GP di XXX e YYY ?

14 gaussian-process metric

2

Jensen Shannon Divergence vs Kullback-Leibler Divergence?

So che KL Divergence non è simmetrica e non può essere considerata rigorosamente come una metrica. In tal caso, perché viene utilizzato quando JS Divergence soddisfa le proprietà richieste per una metrica? Esistono scenari in cui è possibile utilizzare la divergenza KL ma non JS Divergence o viceversa?

14 probability distributions kullback-leibler metric

4

Esiste una distanza di probabilità che preserva tutte le proprietà di una metrica?

Nello studio della distanza di Kullback-Leibler, ci sono due cose che impariamo molto rapidamente: non rispetta né la disuguaglianza del triangolo né la simmetria, proprietà richieste di una metrica. La mia domanda è se esiste una metrica delle funzioni di densità di probabilità che soddisfano tutti i vincoli di una …

13 distributions distance metric

4

La disuguaglianza del triangolo è rispettata per queste distanze basate sulla correlazione?

Per il clustering gerarchico vedo spesso le seguenti due "metriche" (non stanno esattamente parlando) per misurare la distanza tra due variabili casuali e : \ newcommand {\ Cor} {\ mathrm {Cor}} \ begin {align} d_1 (X, Y) & = 1- | \ Cor (X, Y) |, \\ D_2 (X, Y) …

13 correlation clustering distance metric

2

Metriche per matrici di covarianza: svantaggi e punti di forza

Quali sono le metriche "migliori" per le matrici di covarianza e perché? È chiaro per me che Frobenius ecc. Non sono appropriati, e anche le parametrizzazioni angolari hanno i loro problemi. Intuitivamente si potrebbe desiderare un compromesso tra questi due, ma vorrei anche sapere se ci sono altri aspetti da …

11 covariance metric

1

Formula di inerzia a grappolo in scikit learn

Vorrei codificare un cluster di kmean in Python usando Panda e Scikit Learn. Per selezionare il buon k, vorrei codificare la statistica del gap da Tibshirani e al 2001 ( pdf ). Vorrei sapere se potevo usare il risultato di inerzia di scikit e adattare la formula statistica del gap …

9 clustering python k-means scikit-learn metric

2

Una distanza deve essere una "metrica" affinché un cluster gerarchico sia valido su di esso?

Diciamo che definiamo una distanza, che non è una metrica , tra N elementi. Sulla base di questa distanza utilizziamo quindi un cluster gerarchico agglomerativo . È possibile utilizzare ciascuno degli algoritmi noti (collegamento singolo / massimo / avaerage, ecc.) Per ottenere risultati significativi? O in altre parole, qual è …

9 clustering multilevel-analysis metric hierarchical-clustering

Domande taggate «metric»