Statistiche e Big Data

Sono interessato a sapere se una "correlazione" di tre variabili è qualcosa e, in caso affermativo, quale sarebbe? Coefficiente di correlazione del momento del prodotto Pearson E{(X−μX)(Y−μY)}Var(X)Var(Y)−−−−−−−−−−−−√E{(X−μX)(Y−μY)}Var(X)Var(Y)\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)\}}{\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}} Ora la domanda per 3 variabili: Is E{(X−μX)(Y−μY)(Z−μZ)}Var(X)Var(Y)Var(Z)−−−−−−−−−−−−−−−−−−√E{(X−μX)(Y−μY)(Z−μZ)}Var(X)Var(Y)Var(Z)\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)(Z-\mu_Z)\}} {\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)\mathrm{Var}(Z)}} nulla? In R sembra qualcosa di interpretabile: > a <- rnorm(100); b <- rnorm(100); …

17 correlation  pearson-r 

In un piccolo problema di classificazione del testo che stavo osservando, Naive Bayes ha esibito una prestazione simile o superiore a una SVM ed ero molto confuso. Mi chiedevo quali fattori decidessero il trionfo di un algoritmo sull'altro. Ci sono situazioni in cui non ha senso usare Naive Bayes su …

17 machine-learning  classification  svm  naive-bayes 

Mi chiedo quale sia la differenza tra la distribuzione normale standard multivariata e la copula gaussiana da quando guardo la funzione di densità mi sembrano le stesse. Il mio problema è perché viene introdotta la copula gaussiana o quale beneficio genera la copula gaussiana o quale sia la sua superiorità …

17 normal-distribution  copula 

L'essenza della mia domanda è questa: Sia Y∈RnY∈RnY \in \mathbb{R}^n una variabile casuale normale multivariata con media μμ\mu e matrice di covarianza ΣΣ\Sigma . Sia Z:=log(Y)Z:=log⁡(Y)Z := \log(Y) , cioè Zi=log(Yi),i∈{1,…,n}Zi=log⁡(Yi),i∈{1,…,n}Z_i = \log(Y_i), i \in \{1,\ldots,n\} . Come confrontare l'AIC di un modello adatto alle realizzazioni osservate di YYY rispetto …

17 data-transformation  aic  likelihood 

Come posso capire cosa fa il kernel RBF in SVM? Voglio dire, capisco la matematica, ma c'è un modo per avere un'idea di quando questo kernel sarà utile? I risultati di kNN sarebbero correlati a SVM / RBF poiché l'RBF contiene distanze vettoriali? C'è un modo per avere un'idea del …

17 svm  kernel-trick 

So che β0^=y¯−β1^x¯β0^=y¯−β1^x¯\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x} e questo è quanto sono arrivato lontano quando ho calcolato la varianza: Var(β0^)=Var(y¯−β1^x¯)=Var((−x¯)β1^+y¯)=Var((−x¯)β1^)+Var(y¯)=(−x¯)2Var(β1^)+0=(x¯)2Var(β1^)+0=σ2(x¯)2∑i=1n(xi−x¯)2Var(β0^)=Var(y¯−β1^x¯)=Var((−x¯)β1^+y¯)=Var((−x¯)β1^)+Var(y¯)=(−x¯)2Var(β1^)+0=(x¯)2Var(β1^)+0=σ2(x¯)2∑i=1n(xi−x¯)2\begin{align*} Var(\hat{\beta_0}) &= Var(\bar{y} - \hat{\beta_1}\bar{x}) \\ &= Var((-\bar{x})\hat{\beta_1}+\bar{y}) \\ &= Var((-\bar{x})\hat{\beta_1})+Var(\bar{y}) \\ &= (-\bar{x})^2 Var(\hat{\beta_1}) + 0 \\ &= (\bar{x})^2 Var(\hat{\beta_1}) + 0 \\ &= \frac{\sigma^2 (\bar{x})^2}{\displaystyle\sum\limits_{i=1}^n (x_i - \bar{x})^2} \end{align*} ma questo è …

17 regression  self-study 

Con un precedente piatto, gli stimatori ML (frequentista - massima probabilità) e MAP (bayesiano - massimo a posteriori) coincidono. Più in generale, tuttavia, sto parlando di stimatori puntuali derivati ​​come ottimizzatori di alcune funzioni di perdita. ie (Bayesiana) x (x^(.)=argminE(L(X−x^(y))|y) (Bayesian) x^(.)=argminE(L(X−x^(y))|y) (Bayesian) \hat x(\,. ) = \text{argmin} \; \mathbb{E} …

17 bayesian  estimation  loss-functions  frequentist  decision-theory 

Prima di porre la mia domanda, lascia che ti dia un po 'di informazioni su ciò che so sulle statistiche in modo da avere una migliore percezione dei tipi di risorse che sto cercando. Sono uno studente laureato in psicologia e, come tale, utilizzo le statistiche quasi ogni giorno. Ormai …

17 mathematical-statistics  references 

Nel libro di Bishop "Classificazione dei modelli e apprendimento automatico", descrive una tecnica per la regolarizzazione nel contesto delle reti neurali. Tuttavia, non capisco un paragrafo che descriva che durante il processo di formazione, il numero di gradi di libertà aumenta insieme alla complessità del modello. La citazione pertinente è …

17 machine-learning  neural-networks  regularization  degrees-of-freedom 

La varianza ponderata senza paragoni era già stata affrontata qui e altrove, ma sembra esserci ancora una sorprendente quantità di confusione. Sembra esserci un consenso sulla formula presentata nel primo link e nell'articolo di Wikipedia . Questa sembra anche la formula usata da R, Mathematica e GSL (ma non MATLAB). …

17 variance  weighted-mean  weighted-data 

Voglio eseguire un'analisi ANCOVA dei dati riguardanti la densità delle epifite vegetali. All'inizio, vorrei sapere se c'è qualche differenza nella densità della pianta tra due pendenze, una N e una S, ma ho altri dati come l'altitudine, l'apertura del baldacchino e l'altezza della pianta ospite. So che la mia covariata …

17 r  ancova 

Qualcuno può dirmi che cosa dà esattamente un'analisi di convalida incrociata come risultato? È solo la precisione media o fornisce qualche modello con parametri ottimizzati? Perché, ho sentito da qualche parte che la convalida incrociata viene utilizzata per l'ottimizzazione dei parametri.

17 cross-validation 

Supponi di essere nella biblioteca del tuo dipartimento di statistica e di imbatterti in un libro con la seguente immagine in prima pagina. Probabilmente penserai che questo è un libro sulle cose della regressione lineare. Quale sarebbe l'immagine che ti farebbe pensare ai modelli misti lineari?

17 mixed-model 

Ho un set di dati sulle prove agricole. La mia variabile di risposta è un rapporto di risposta: log (trattamento / controllo). Sono interessato a ciò che media la differenza, quindi sto eseguendo meta-regressioni RE (non ponderate, perché sembra abbastanza chiaro che la dimensione dell'effetto non è correlata alla varianza …

17 missing-data  meta-analysis  multiple-imputation  meta-regression 

Mi sono tuffato nel campo delle reti neurali e ne sono rimasto affascinato. Ho finalmente sviluppato un framework applicativo per testare i sistemi commerciali nelle borse e ora implementerò la mia prima rete neurale. Uno molto semplice e primitivo, non destinato al trading reale, ma solo per i principianti. Voglio …

17 machine-learning  neural-networks