Correlazione di Pearson di insiemi di dati con possibilmente zero deviazione standard?

Sto riscontrando un problema nel calcolo del coefficiente di correlazione pearson dei set di dati con una deviazione standard eventualmente zero (ovvero tutti i dati hanno lo stesso valore).

Supponiamo che io abbia i seguenti due set di dati:

float x[] = {2, 2, 2, 3, 2};
float y[] = {2, 2, 2, 2, 2};

Il coefficiente di correlazione "r" verrebbe calcolato utilizzando la seguente equazione:

float r = covariance(x, y) / (std_dev(x) * std_dev(y));

Tuttavia, poiché tutti i dati nel set di dati "y" hanno lo stesso valore, la deviazione standard std_dev (y) sarebbe zero e "r" sarebbe indefinito.

c'è qualche soluzione per questo problema? O dovrei usare altri metodi per misurare la relazione dei dati in questo caso?

La "teoria del campionamento" ti dirà che non esiste tale stima. Ma puoi ottenerne uno, devi solo essere ragionevole riguardo alle tue informazioni precedenti e fare un lavoro matematico molto più difficile.

Se hai specificato un metodo di stima bayesiano e il posteriore è lo stesso del precedente, allora puoi dire che i dati non dicono nulla sul parametro. Poiché le cose possono diventare "singolari" su di noi, non possiamo usare spazi di parametri infiniti. Suppongo che, poiché usi la correlazione di Pearson, hai una probabilità normale bivariata:

Qi=(xi-μx)

$$p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)=\left(\sigma_x\sigma_y\sqrt{2\pi(1-\rho^2)}\right)^{-N}exp\left(-\frac{\sum_{i}Q_i}{2(1-\rho^2)}\right)$$ dove $$Q_i=\frac{(x_i-\mu_x)^2}{\sigma_x^2}+\frac{(y_i-\mu_y)^2}{\sigma_y^2}-2\rho\frac{(x_i-\mu_x)(y_i-\mu_y)}{\sigma_x\sigma_y}$$

Ora per indicare che un set di dati può avere lo stesso valore, scrivi , e quindi otteniamo:$y_i=y$

s2x=

$$\sum_{i}Q_i=N\left[\frac{(y-\mu_y)^2}{\sigma_y^2}+\frac{s_x^2 + (\overline{x}-\mu_x)^2}{\sigma_x^2}-2\rho\frac{(\overline{x}-\mu_x)(y-\mu_y)}{\sigma_x\sigma_y}\right]$$ dove $$s_x^2=\frac{1}{N}\sum_{i}(x_i-\overline{x})^2$$

E così la probabilità dipende da quattro numeri, . Quindi vuoi una stima di , quindi devi moltiplicare per un precedente e integrare i parametri di disturbo . Adesso per prepararci all'integrazione, "completiamo il quadrato" $s_x^2,y,\overline{x},N$$\rho$$\mu_x,\mu_y,\sigma_x,\sigma_y$

$$\frac{\sum_{i}Q_i}{1-\rho^2}=N\left[\frac{\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{\sigma_y^2(1-\rho^{2})}+\frac{s_x^2}{\sigma_{x}^{2}(1-\rho^{2})} + \frac{(\overline{x}-\mu_x)^2}{\sigma_x^2}\right]$$

Ora dovremmo sbagliare sul versante della cautela e garantire una probabilità adeguatamente normalizzata. In questo modo non possiamo metterci nei guai. Una di queste opzioni consiste nell'utilizzare un precedente debolmente informativo, che pone delle restrizioni sull'intervallo di ciascuno. Quindi abbiamo per i mezzi con flat precedente e per le deviazioni standard con jeffreys precedente. Questi limiti sono facili da stabilire con un po 'di "buon senso" pensando al problema. Prenderò un precedente non specificato per , e quindi otteniamo (l'uniforme dovrebbe funzionare bene, se non troncare la singolarità a ):$L_{\mu}<\mu_x,\mu_y<U_{\mu}$$L_{\sigma}<\sigma_x,\sigma_y<U_{\sigma}$$\rho$$\pm 1$

$$p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)=\frac{p(\rho)}{A\sigma_x\sigma_y}$$

Dove . Questo dà un posteriore di:$A=2(U_{\mu}-L_{\mu})^{2}[log(U_{\sigma})-log(L_{\sigma})]^{2}$

$$p(\rho|D)=\int p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

$$=\frac{p(\rho)}{A[2\pi(1-\rho^2)]^{\frac{N}{2}}}\int_{L_{\sigma}}^{U_{\sigma}}\int_{L_{\sigma}}^{U_{\sigma}}\left(\sigma_x\sigma_y\right)^{-N-1}exp\left(-\frac{N s_x^2}{2\sigma_{x}^{2}(1-\rho^{2})}\right) \times$$ $$\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N(\overline{x}-\mu_x)^2}{2\sigma_x^2}\right)\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{2\sigma_y^2(1-\rho^{2})}\right)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

Ora la prima integrazione su può essere fatta modificando le variabili e il primo integrale su diventa:$\mu_y$$z=\sqrt{N}\frac{\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\sigma_y\sqrt{1-\rho^{2}}}\implies dz=\frac{\sqrt{N}}{\sigma_y\sqrt{1-\rho^{2}}}d\mu_y$$\mu_y$

$$\frac{\sigma_y\sqrt{2\pi(1-\rho^{2})}}{\sqrt{N}}\left[\Phi\left( \frac{U_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)-\Phi\left( \frac{L_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)\right]$$

E da qui puoi vedere che non sono possibili soluzioni analitiche. Tuttavia, vale anche la pena notare che il valore non è stato eliminato dalle equazioni. Ciò significa che i dati e le informazioni precedenti hanno ancora qualcosa da dire sulla vera correlazione. Se i dati non dicessero nulla della correlazione, rimarremmo semplicemente con come unica funzione di in queste equazioni.$\rho$$p(\rho)$$\rho$

Mostra anche come questo passaggio al limite di limiti infiniti per "butti via" alcune delle informazioni su , che sono contenute nella complicata normale funzione CDF . Ora, se hai molti dati, quindi passare al limite va bene, non perdi molto, ma se hai informazioni molto scarse, come nel tuo caso - è importante mantenere ogni scarto che hai. Significa brutti calcoli matematici, ma questo esempio non è troppo difficile da fare numericamente. Quindi possiamo valutare la probabilità integrata per a valori di abbastanza facilmente. Sostituisci semplicemente gli integrali con le somme su intervalli abbastanza piccoli, in modo da avere una tripla somma$\mu_y$$\rho$$\Phi(.)$$\rho$$-0.99,-0.98,\dots,0.98,0.99$

Concordo con sesqu sul fatto che la correlazione non è definita in questo caso. A seconda del tipo di applicazione, ad esempio, è possibile calcolare la somiglianza di Gower tra i due vettori, ovvero: dove rappresenta il kronecker-delta , applicato come funzione su . δv1,v$gower(v1,v2)=\frac{\sum_{i=1}^{n}\delta(v1_i,v2_i)}{n}$$\delta$$v1,v2$

Ad esempio, se tutti i valori sono uguali, gower (.,.) = 1. Se d'altra parte differiscono solo in una dimensione, gower (.,.) = 0.9. Se differiscono in ogni dimensione, gower (.,.) = 0 e così via.

Naturalmente questa non è una misura per la correlazione, ma consente di calcolare quanto è vicino il vettore con s> 0 a quello con s = 0. Naturalmente puoi applicare anche altre metriche, se servono meglio al tuo scopo.

La correlazione non è definita in quel caso. Se è necessario definirlo, lo definirei come 0, ma considererei invece una differenza assoluta media semplice.

Questa domanda viene dai programmatori, quindi suggerirei di collegare zero. Non ci sono prove di una correlazione e l'ipotesi nulla sarebbe zero (nessuna correlazione). Potrebbero esserci altre conoscenze di contesto che fornirebbero una correlazione "tipica" in un contesto, ma il codice potrebbe essere riutilizzato in un altro contesto.