Statistiche e Big Data correlation

3

Genera coppie di numeri casuali distribuiti uniformemente e correlati

Vorrei generare coppie di numeri casuali con una certa correlazione. Tuttavia, il solito approccio all'uso di una combinazione lineare di due variabili normali non è valido qui, poiché una combinazione lineare di variabili uniformi non è più una variabile distribuita uniformemente. Ho bisogno che le due variabili siano uniformi. Qualche …

14 correlation random-generation uniform

5

Esiste un modo semplice per rilevare i valori anomali?

Mi chiedo se esiste un modo semplice per rilevare i valori anomali. Per uno dei miei progetti, che era fondamentalmente una correlazione tra il numero di volte in cui gli intervistati partecipano all'attività fisica in una settimana e il numero di volte in cui mangiano fuori casa (fast food) in …

14 correlation outliers

3

Ha senso che una correlazione parziale sia maggiore di una correlazione di ordine zero?

Ciò sta probabilmente dimostrando una fondamentale mancanza di comprensione di come funzionano le correlazioni parziali. Ho 3 variabili, x, y, z. Quando controllo per z, la correlazione tra xey aumenta rispetto alla correlazione tra xey quando z non è stata controllata per. ha senso? Tendo a pensare che quando si …

14 correlation

2

Correlazione di calcolo (e significato di detta correlazione) tra una coppia di serie temporali

Ho due serie storiche S e T. hanno la stessa frequenza e la stessa lunghezza. Vorrei calcolare (usando R), la correlazione tra questa coppia (cioè S e T), e anche essere in grado di calcolare il significato della correlazione), quindi posso determinare se la correlazione è dovuta al caso o …

14 r time-series correlation

1

GAM vs LOESS vs spline

Contesto : Voglio tracciare una linea in un grafico a dispersione che non appare parametrico, quindi sto usando geom_smooth()in ggplota R. Restituisce automaticamente geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change the …

14 r gam splines loess r data-visualization boxplot mathematical-statistics theory sufficient-statistics machine-learning classification correlation svm feature-selection probability stochastic-processes machine-learning reinforcement-learning

1

Esiste una caratterizzazione intuitiva della correlazione a distanza?

Sto fissando la pagina di Wikipedia per la correlazione della distanza in cui sembra essere caratterizzato da come può essere calcolato. Mentre potrei fare i calcoli, faccio fatica a capire quali misure di correlazione della distanza e perché i calcoli sembrano come loro. Esiste una (o molte) caratterizzazioni più intuitive …

14 correlation distance intuition distance-covariance

4

Come può la somma di due variabili spiegare più varianza rispetto alle singole variabili?

Sto ottenendo alcuni risultati sconcertanti per la correlazione di una somma con una terza variabile quando i due predittori sono correlati negativamente. Cosa sta causando questi risultati sconcertanti? Esempio 1: correlazione tra la somma di due variabili e una terza variabile Considera la formula 16.23 a pagina 427 del testo …

13 correlation multiple-regression

2

I dati di input correlati portano a un overfitting con le reti neurali?

A mio avviso, i dati di input correlati devono portare a un overfitting nelle reti neurali perché la rete apprende la correlazione, ad esempio il rumore nei dati. È corretto?

13 correlation neural-networks overfitting

3

Quando è appropriata la trasformazione z di Fisher?

Voglio testare una correlazione del campione rrr per significatività, usando i valori p, cioè H0:ρ=0,H1:ρ≠0.H0:ρ=0,H1:ρ≠0.H_0: \rho = 0, \; H_1: \rho \neq 0. Ho capito che posso usare la trasformata z di Fisher per calcolare questo zobs=n−3−−−−−√2ln(1+r1−r)zobs=n−32ln⁡(1+r1−r)z_{obs}= \displaystyle\frac{\sqrt{n-3}}{2}\ln\left(\displaystyle\frac{1+r}{1-r}\right) e trovare il valore p di p=2P(Z>zobs)p=2P(Z>zobs)p = 2P\left(Z>z_{obs}\right) utilizzando la distribuzione …

13 correlation sample-size fisher-transform

4

Come calcolare la correlazione tra / all'interno di gruppi di variabili?

Ho una matrice di 1000 osservazioni e 50 variabili ciascuna misurata su una scala a 5 punti. Queste variabili sono organizzate in gruppi, ma non esiste un numero uguale di variabili in ciascun gruppo. Vorrei calcolare due tipi di correlazioni: Correlazione all'interno di gruppi di variabili (tra le caratteristiche): alcune …

13 correlation psychometrics scales

1

LARS vs discesa delle coordinate per il lazo

Quali sono i pro e i contro dell'utilizzo di LARS [1] rispetto all'utilizzo della discesa delle coordinate per l'adattamento della regressione lineare regolarizzata L1? Sono principalmente interessato agli aspetti prestazionali (i miei problemi tendono ad avere Ntra le centinaia di migliaia e p<20). Tuttavia, anche altre intuizioni sarebbero apprezzate. modifica: …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

1

Pacchetto GBM vs. Caret tramite GBM

Ho usato il tuning del modello caret, ma poi rieseguendo il modello usando il gbmpacchetto. Comprendo che il caretpacchetto utilizza gbme l'output dovrebbe essere lo stesso. Tuttavia, solo un rapido test eseguito utilizzando data(iris)mostra una discrepanza nel modello di circa il 5% utilizzando RMSE e R ^ 2 come metrica …

13 r caret gbm matrix linear-algebra logistic modeling logit ordered-logit r confidence-interval survival population weibull classification separation hypothesis-testing correlation statistical-significance p-value python r data-visualization r regression multiple-regression chi-squared multivariate-analysis distributions random-variable experiment-design distributions poisson-regression residuals excel time-series garch var survival modeling cox-model interaction r pca normality-assumption

4

La disuguaglianza del triangolo è rispettata per queste distanze basate sulla correlazione?

Per il clustering gerarchico vedo spesso le seguenti due "metriche" (non stanno esattamente parlando) per misurare la distanza tra due variabili casuali e : \ newcommand {\ Cor} {\ mathrm {Cor}} \ begin {align} d_1 (X, Y) & = 1- | \ Cor (X, Y) |, \\ D_2 (X, Y) …

13 correlation clustering distance metric

1

Utilizzo delle informazioni reciproche per stimare la correlazione tra una variabile continua e una variabile categoriale

Per quanto riguarda il titolo, l'idea è quella di utilizzare le informazioni reciproche, qui e dopo MI, per stimare la "correlazione" (definita come "quanto so di A quando conosco B") tra una variabile continua e una variabile categoriale. Ti racconterò i miei pensieri sull'argomento tra un momento, ma prima di …

13 correlation information-theory mutual-information

2

Relazione tra i coefficienti di correlazione phi, Matthews e Pearson

I coefficienti di correlazione phi e Matthews sono lo stesso concetto? In che modo sono correlati o equivalenti al coefficiente di correlazione di Pearson per due variabili binarie? Presumo che i valori binari siano 0 e 1. Correlazione di Pearson tra due variabili aleatorie di Bernoulli ed y è:xxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 …

13 correlation contingency-tables bernoulli-distribution model-evaluation confusion-matrix

Domande taggate «correlation»