Statistiche e Big Data intuition

1

Qual è l'intuizione alla base della metrica variazione di informazioni (VI) per la convalida dei cluster?

Per i non statistici come me, è molto difficile catturare l'idea di VImetrica (variazione delle informazioni) anche dopo aver letto l'articolo pertinente di Marina Melia " Confronto di clustering - Una distanza basata sull'informazione " (Journal of Multivariate Analysis, 2007). In effetti, non ho familiarità con molti dei termini dei …

11 r clustering validation intuition

3

Intuizione e usi per coefficiente di variazione

Attualmente sto frequentando il corso An Introduction to Operations Management in Coursera.org. Ad un certo punto del corso, il professore ha iniziato a gestire le variazioni nel tempo delle operazioni. La misura che usa è il coefficiente di variazione , il rapporto tra la deviazione standard e la media: cv= …

11 standard-deviation intuition coefficient-of-variation

2

Come comprendere una rete di convinzioni profonde convoluzionali per la classificazione audio?

In " Reti convoluzionali di convinzione profonda per l'apprendimento senza supervisione scalabile di rappresentazioni gerarchiche " di Lee et. al. ( PDF ) Vengono proposti DBN convoluzionali. Inoltre, il metodo viene valutato per la classificazione delle immagini. Sembra logico, in quanto ci sono caratteristiche naturali dell'immagine locale, come piccoli angoli …

11 classification unsupervised-learning intuition deep-belief-networks

1

R / mgcv: Perché i prodotti tensor te () e ti () producono superfici diverse?

Il mgcvpacchetto per Rha due funzioni per adattare le interazioni del prodotto tensore: te()e ti(). Comprendo la divisione di base del lavoro tra i due (adattamento di un'interazione non lineare rispetto alla scomposizione di questa interazione in effetti principali e un'interazione). Quello che non capisco è perché te(x1, x2)e ti(x1) …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

2

Qual è l'intuizione dietro una rete neurale ricorrente a memoria a breve termine (LSTM)?

L'idea alla base di Recurrent Neural Network (RNN) mi è chiara. Lo capisco nel modo seguente: abbiamo una sequenza di osservazioni ( ) (o, in altre parole, serie temporali multivariate). Ogni singola osservazioneo⃗ 1,o⃗ 2,…,o⃗ no→1,o→2,…,o→n\vec o_1, \vec o_2, \dots, \vec o_no⃗ io→i\vec o_i è un NNN -dimensionale vettore numerico. …

11 time-series neural-networks predictive-models intuition rnn

2

Test di Kolmogorov – Smirnov: il valore p e la statistica del test k diminuiscono all'aumentare della dimensione del campione

Perché i valori di p e le statistiche di ks-test diminuiscono con l'aumentare della dimensione del campione? Prendi questo codice Python come esempio: import numpy as np from scipy.stats import norm, ks_2samp np.random.seed(0) for n in [10, 100, 1000, 10000, 100000, 1000000]: x = norm(0, 4).rvs(n) y = norm(0, 4.1).rvs(n) …

11 python p-value goodness-of-fit intuition scipy

3

Intuizione dietro in forma chiusa di w in Regressione lineare

La forma chiusa di w nella regressione lineare può essere scritta come w^=(XTX)−1XTyw^=(XTX)−1XTy\hat{w}=(X^TX)^{-1}X^Ty Come possiamo spiegare intuitivamente il ruolo di in questa equazione?(XTX)−1(XTX)−1(X^TX)^{-1}

10 regression least-squares matrix intuition matrix-inverse

3

Intuizione dietro la formula per la varianza di una somma di due variabili

Lo so da studi precedenti che Var(A+B)=Var(A)+Var(B)+2Cov(A,B)Var(A+B)=Var(A)+Var(B)+2Cov(A,B)Var(A+B) = Var(A) + Var(B) + 2 Cov (A,B) Tuttavia, non capisco perché. Vedo che l'effetto sarà quello di "aumentare" la varianza quando A e B covary altamente. Ha senso che quando crei un composito da due variabili altamente correlate tenderai ad aggiungere le …

10 variance covariance intuition

1

Spiegazione intuitiva della probabilità inversa di pesi di trattamento (IPTW) nella ponderazione del punteggio di propensione?

Comprendo i meccanismi di calcolo dei pesi utilizzando i punteggi di propensione : e quindi applicando i pesi in un'analisi di regressione e che i pesi servono a "controlla" o dissocia gli effetti delle covariate nelle popolazioni del gruppo di trattamento e controllo con la variabile di risultato.p (xio)p(Xio)p(x_i)wi , …

10 intuition weighted-regression propensity-scores

2

Divergenza di Kullback-Leibler per due campioni

Ho cercato di implementare una stima numerica della divergenza di Kullback-Leibler per due campioni. Per eseguire il debug dell'implementazione, estrarre i campioni da due distribuzioni normali e .N(0,1)N(0,1)\mathcal N (0,1)N(1,2)N(1,2)\mathcal N (1,2) Per una semplice stima ho generato due istogrammi e ho provato ad approssimare numericamente l'integrale. Mi sono bloccato …

10 estimation intuition kullback-leibler numerics

1

Perché è

In una serie di problemi ho dimostrato questo "lemma", il cui risultato non è intuitivo per me. ZZZ è una distribuzione normale standard in un modello censurato. Formalmente, Z∗∼Norm(0,σ2)Z∗∼Norm(0,σ2)Z^* \sim Norm(0, \sigma^2) e Z=max(Z∗,c)Z=max(Z∗,c)Z = max(Z^*, c) . Quindi, (c)E[Z|Z>c]=∫∞cziϕ(zi)dzi=12π−−√∫∞cziexp(−12z2i)dzi=12π−−√exp(−12c2) (Integration by substitution)=ϕ(c)E[Z|Z>c]=∫c∞ziϕ(zi)dzi=12π∫c∞ziexp(−12zi2)dzi=12πexp(−12c2) (Integration by substitution)=ϕ(c)\begin{align} E[Z|Z>c] &= \int_c^\infty z_i …

10 normal-distribution pdf intuition

2

Misura appropriata per trovare la matrice di covarianza più piccola

Nel libro di testo che sto leggendo usano la nitidezza positiva (semi-positività) per confrontare due matrici di covarianza. L'idea è che se è pd allora è più piccolo di . Ma sto lottando per ottenere l'intuizione di questa relazione?A−BA−BA-BBBBAAA C'è un thread simile qui: /math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices Qual è l'intuizione di usare …

10 covariance-matrix matrix intuition linear-algebra geometry

3

Perché l'errore standard di una proporzione, per una data n, è maggiore di 0,5?

L'errore standard di una proporzione sarà il più grande che può essere per una data N quando la proporzione in questione è 0,5 e diventa più piccola quanto più la proporzione è da 0,5. Posso capire perché è così quando guardo l'equazione per l'errore standard di una proporzione, ma non …

10 standard-error proportion intuition

1

Spiegazione intuitiva della perdita di log

In diverse competizioni kaggle il punteggio si basava sulla "perdita di log". Ciò si riferisce all'errore di classificazione. Ecco una risposta tecnica ma sto cercando una risposta intuitiva. Mi sono piaciute molto le risposte a questa domanda sulla distanza di Mahalanobis, ma PCA non è in perdita. Posso usare il …

10 interpretation intuition loss-functions

3

Teorema del limite centrale e distribuzione di Pareto

Qualcuno può fornire una spiegazione semplice (per laici) della relazione tra le distribuzioni di Pareto e il Teorema del limite centrale (ad esempio, si applica? Perché / perché no?)? Sto cercando di capire la seguente dichiarazione: "il Teorema del limite centrale non funziona con ogni distribuzione. Ciò è dovuto a …

10 variance central-limit-theorem intuition pareto-distribution fat-tails

Domande taggate «intuition»