Statistiche e Big Data

1

Sto iniziando con il deep learning e ho una domanda la cui risposta non riuscivo a trovare, forse non ho cercato correttamente. Ho visto questa risposta , ma non è ancora chiaro quale sia la perdita di perdita di peso e come sia correlata alla funzione di perdita.

11 neural-networks conv-neural-network

5

Quando utilizzare il modello a effetti misti?

I modelli di effetti misti lineari sono estensioni dei modelli di regressione lineare per i dati raccolti e riepilogati in gruppi. Il vantaggio principale è che i coefficienti possono variare rispetto a una o più variabili di gruppo. Tuttavia, sto lottando con quando utilizzare il modello a effetti misti? Elaborerò …

11 regression mixed-model random-effects-model linear

3

Qual è la differenza tra modello deterministico e stocastico?

Modello lineare semplice: x=αt+ϵtx=αt+ϵtx=\alpha t + \epsilon_t dove ~ iidϵtϵt\epsilon_tN(0,σ2)N(0,σ2)N(0,\sigma^2) con eE(x)=αtE(x)=αtE(x) = \alpha tVar(x)=σ2Var(x)=σ2Var(x)=\sigma^2 AR (1): Xt=αXt−1+ϵtXt=αXt−1+ϵtX_t =\alpha X_{t-1} + \epsilon_t dove ~ iidϵtϵt\epsilon_tN(0,σ2)N(0,σ2)N(0,\sigma^2) con eE(x)=αtE(x)=αtE(x) = \alpha tVar(x)=tσ2Var(x)=tσ2Var(x)=t\sigma^2 Quindi un semplice modello lineare è considerato un modello deterministico mentre un modello AR (1) è considerato un modello stocahstic. …

11 regression stochastic-processes autoregressive deterministic

1

Frecce delle variabili sottostanti nel biplot PCA in R

A rischio di rendere la domanda specifica per il software, e con la scusa della sua ubiquità e idiosincrasie, voglio fare una domanda sulla funzione biplot()in R e, più specificamente, sul calcolo e sulla stampa delle sue frecce rosse sovrapposte predefinite, corrispondenti alle variabili sottostanti. [Per dare un senso ad …

11 r pca biplot

3

Come viene definito quando

Supponiamo che YYY sia una variabile casuale continua e che XXX sia una discreta. Pr(X=x|Y=y)=Pr(X=x)Pr(Y=y|X=x)Pr(Y=y)Pr(X=x|Y=y)=Pr(X=x)Pr(Y=y|X=x)Pr(Y=y) \Pr(X=x|Y=y) = \frac{\Pr(X=x)\Pr(Y=y|X=x)}{\Pr(Y=y)} Come sappiamo, Pr ( Y= y) = 0Pr(Y=y)=0\Pr(Y=y) = 0 perché YYY è una variabile casuale continua. E sulla base di ciò, sono tentato di concludere che la probabilità Pr ( X= …

11 conditional-probability pdf

1

Teorema del limite centrale per radici quadrate di somme di variabili casuali iid

Incuriosito da una domanda su math.stackexchange e indagando empiricamente, mi chiedo la seguente affermazione sulla radice quadrata delle somme di variabili casuali iid. Supponiamo che X1,X2,…,XnX1,X2,…,XnX_1, X_2, \ldots, X_n siano variabili casuali iid con media nulla diversa da zero μμ\mu e varianza σ2σ2\sigma^2 e Y=∑i=1nXiY=∑i=1nXi\displaystyle Y=\sum_{i=1}^n X_i . Il teorema …

11 normal-distribution central-limit-theorem sum

1

R / mgcv: Perché i prodotti tensor te () e ti () producono superfici diverse?

Il mgcvpacchetto per Rha due funzioni per adattare le interazioni del prodotto tensore: te()e ti(). Comprendo la divisione di base del lavoro tra i due (adattamento di un'interazione non lineare rispetto alla scomposizione di questa interazione in effetti principali e un'interazione). Quello che non capisco è perché te(x1, x2)e ti(x1) …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

1

Perché la non negatività è importante per i sistemi di filtro / raccomandazione collaborativi?

In tutti i moderni sistemi di raccomandazione che ho visto che si basano sulla fattorizzazione a matrice, viene eseguita una fattorizzazione a matrice non negativa sulla matrice di film utente. Riesco a capire perché la non negatività sia importante per l'interpretazione e / o se si desidera avere fattori sparsi. …

11 recommender-system svd matrix-decomposition nnmf

2

Tecnica di apprendimento automatico per l'apprendimento di stringhe

Ho un elenco di parole, appartenenti a diverse categorie autodefinite. Ogni categoria ha il suo modello (ad esempio uno ha una lunghezza fissa con caratteri speciali, un'altra esiste di caratteri che si verificano solo in questa categoria di "parola", ...). Per esempio: "ABC" -> type1 "ACC" -> type1 "a8 219" …

11 machine-learning classification similarities supervised-learning

3

Media della distribuzione esponenziale inversa

Data una variabile casuale , qual è la media e la varianza di ?Y=Exp(λ)Y=Exp(λ)Y = Exp(\lambda)G=1YG=1YG=\dfrac{1}{Y} Guardo Inverse Gamma Distribution, ma la media e la varianza sono definite solo per e rispettivamente ...α>1α>1\alpha>1α>2α>2\alpha>2

11 variance mean exponential

2

Come determinare i parametri per t-SNE per ridurre le dimensioni?

Sono molto nuovo con gli incantesimi di parole. Voglio visualizzare come stanno i documenti dopo l'apprendimento. Ho letto che t-SNE è l'approccio per farlo. Ho 100K documenti con 250 dimensioni come dimensione dell'incorporamento. Ci sono anche diversi pacchetti disponibili. Tuttavia, per t-SNE, non so quante iterazioni o il valore di …

11 pca dimensionality-reduction word2vec word-embeddings tsne

2

Correlazione tra seno e coseno

Supponiamo che XXX sia uniformemente distribuito su [0,2π][0,2π][0, 2\pi] . Lasciate Y=sinXY=sin⁡XY = \sin X e Z=cosXZ=cos⁡XZ = \cos X . Mostra che la correlazione tra YYY e ZZZ è zero. Sembra che dovrei conoscere la deviazione standard del seno e del coseno e la loro covarianza. Come posso calcolarli? …

11 correlation variance random-variable expected-value

2

Regressione lineare, aspettative condizionali e valori previsti

Va bene, quindi solo un po 'confuso su alcune cose, qualsiasi aiuto sarebbe molto apprezzato. Comprendo che il modello di regressione lineare è previsto tramite un'aspettativa condizionale E( Y| X) = b + Xb + eE(Y|X)=b+Xb+eE(Y|X)=b+Xb+e Supponiamo che sia che siano variabili casuali con qualche distribuzione di probabilità sconosciuta? ho …

11 regression

1

Intuitivamente, perché l'entropia incrociata è una misura della distanza di due distribuzioni di probabilità?

Per due distribuzioni discrete e , l'entropia incrociata è definita comepppqqq H( p , q) = - ∑Xp ( x ) logq( x ) .H(p,q)=-ΣXp(X)log⁡q(X).H(p,q)=-\sum_x p(x)\log q(x). Mi chiedo perché questa sarebbe una misura intuitiva della distanza tra due distribuzioni di probabilità? Vedo che è l'entropia di , che misura …

11 probability distributions cross-entropy

3

Qual è la relazione tra la teoria dei giochi e l'apprendimento per rinforzo?

Sono interessato a (Deep) Reinforcement Learning (RL) . Prima di immergermi in questo campo dovrei seguire un corso in Game Theory (GT) ? Come sono correlati GT e RL ?

11 deep-learning reinforcement-learning game-theory