Statistiche e Big Data

Sono confuso dalle dichiarazioni di una pagina web dell'UCLA sulla regressione logistica a effetti misti. Mostrano una tabella di coefficienti di effetti fissi dall'adattamento di tale modello e il primo paragrafo belows sembra interpretare i coefficienti esattamente come una normale regressione logistica. Ma poi quando parlano di odds ratio, dicono …

10 logistic  mixed-model  generalized-linear-model  random-effects-model 

Ho una domanda che penso sarà abbastanza semplice per molti utenti. Sto usando modelli di regressione lineare per (i) studiare la relazione tra diverse variabili esplicative e la mia variabile di risposta e (ii) prevedere la mia variabile di risposta usando le variabili esplicative. Una particolare variabile esplicativa X sembra …

10 statistical-significance  predictive-models  p-value  prediction  out-of-sample 

Supponiamo di avere accesso ai campioni iid da una distribuzione con media (varianza) vera (sconosciuta) e varianza , e vogliamo stimare .μ 2μ , σ2μ,σ2\mu, \sigma^2μ2μ2\mu^2 Come possiamo costruire uno stimatore imparziale, sempre positivo di questa quantità? Prendere il quadrato della media del campione è distorto e sopravvaluterà la quantità, …

10 mean  unbiased-estimator 

Supponiamo di avere un modello Yio= β0+ β1XI 1+ β2Xi 2+ ⋯ + βKXi k+ ϵioYi=β0+β1Xi1+β2Xi2+⋯+βkXik+ϵiY_i = \beta_0 + \beta_1X_{i1} + \beta_2X_{i2} + \dots + \beta_kX_{ik} + \epsilon_i . La regressione ha una serie di ipotesi, come ad esempio che gli errori dovrebbero essere normalmente distribuiti con zero medio e …

10 regression  residuals  error 

Ho un frame di dati in Python in cui devo trovare tutte le variabili categoriali. Il controllo del tipo di colonna non funziona sempre perché il inttipo può anche essere categorico. Quindi cerco aiuto nel trovare il giusto metodo di test di ipotesi per identificare se una colonna è categorica …

10 hypothesis-testing  categorical-data  python  chi-squared  categorical-encoding 

Ho esaminato la documentazione di sklearn ma non sono in grado di comprendere lo scopo di queste funzioni nel contesto della regressione logistica. Perché decision_functiondice che è la distanza tra l'iperpiano e l'istanza di test. come sono utili queste informazioni particolari? e in che modo ciò si collega predicte predict-probametodi?

10 regression  logistic  prediction  scikit-learn  decision 

Ho imparato a conoscere la regressione del processo gaussiano da video online e appunti delle lezioni, la mia comprensione è che se abbiamo un set di dati con punti allora assumiamo che i dati siano campionati da un gaussiano multivariato dimensionale. Quindi la mia domanda è nel caso in cui …

10 machine-learning  probability  inference  gaussian-process  multivariate-regression 

Nei lavori di DeepMind AlphaGo Zero e AlphaZero , descrivono l'aggiunta del rumore Dirichlet alle precedenti probabilità di azioni dal nodo radice (stato della scheda) in Monte Carlo Tree Search: Ulteriore esplorazione si ottiene aggiungendo il rumore di Dirichlet alle probabilità precedenti nel nodo radice , in particolare P ( …

10 machine-learning  neural-networks  dirichlet-distribution 

Come esercizio di routine, sto cercando di trovare la distribuzione di X2+Y2−−−−−−−√X2+Y2\sqrt{X^2+Y^2} dove XXXeYYYsonovariabili casualiU(0,1)U(0,1) U(0,1). La densità articolare di (X,Y)(X,Y)(X,Y) è fX,Y(x,y)=10&lt;x,y&lt;1fX,Y(x,y)=10&lt;x,y&lt;1f_{X,Y}(x,y)=\mathbf 1_{0\cos^{-1}\left(\frac{1}{z}\right), poichécosθcos⁡θ\cos\thetasta diminuendo suθ∈[0,π2]θ∈[0,π2]\theta\in\left[0,\frac{\pi}{2}\right]; ezsinθ&lt;1⟹θ&lt;sin−1(1z)zsin⁡θ&lt;1⟹θ&lt;sin−1⁡(1z)z\sin\theta<1\implies\theta<\sin^{-1}\left(\frac{1}{z}\right), comesinθsin⁡θ\sin\thetasta aumentando inθ∈[0,π2]θ∈[0,π2]\theta\in\left[0,\frac{\pi}{2}\right]. Quindi, per 1&lt;z&lt;2–√1&lt;z&lt;21< z<\sqrt 2 , abbiamocos−1(1z)&lt;θ&lt;sin−1(1z)cos−1⁡(1z)&lt;θ&lt;sin−1⁡(1z)\cos^{-1}\left(\frac{1}{z}\right)<\theta<\sin^{-1}\left(\frac{1}{z}\right). Il valore assoluto di jacobian della trasformazione è |J|=z|J|=z|J|=z Pertanto la densità …

10 self-study  distributions  mathematical-statistics  uniform 

Mi chiedo se le probabilità condizionate siano uniche del bayesianismo o se siano più un concetto generale che è condiviso tra diverse scuole di pensiero tra gli statisti / le persone di probabilità. In un certo senso suppongo che lo sia, perché presumo che nessuno possa p(A,B)=p(A|B)p(B)p(UN,B)=p(UN|B)p(B)p(A,B) = p(A|B)p(B) sia …

10 bayesian  conditional-probability 

Ho implementato un VAE e ho notato online due diverse implementazioni della divergenza KL gaussiana univaria semplificata. La divergenza originale come qui è Se assumiamo che il nostro precedente sia un'unità gaussiana, cioè e , questo si semplifica fino a Ed ecco dove riposa la mia confusione. Anche se ho …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Quando ho iniziato a leggere il filtro Kalman, ho pensato che fosse un caso speciale del modello ARIMA (ovvero ARIMA (0,1,1)). Ma in realtà sembra che la situazione sia più complicata. Prima di tutto, ARIMA può essere utilizzato per la previsione e il filtro Kalman è per il filtraggio. Ma …

10 time-series  bayesian  arima  kalman-filter 

Il mio set di dati ( ) ha una variabile dipendente (DV), cinque variabili "baseline" indipendenti (P1, P2, P3, P4, P5) e una variabile di interesse indipendente (Q).N≈ 10 , 000N≈10,000N \approx 10,000 Ho eseguito regressioni lineari OLS per i seguenti due modelli: DV ~ 1 + P1 + P2 …

10 regression  linear  r-squared 

Nel documento chiamato Deep Learning e il principio del collo di bottiglia delle informazioni gli autori dichiarano nella sezione II A) quanto segue: I singoli neuroni classificano solo input separabili linearmente, poiché possono implementare solo iperpiani nel loro spazio di input . Gli iperpiani possono classificare in modo ottimale i …

10 bayesian  neural-networks  information-theory 

Le funzionalità casuali di Fourier forniscono approssimazioni alle funzioni del kernel. Sono usati per vari metodi del kernel, come SVM e processi gaussiani. Oggi ho provato a utilizzare l' implementazione di TensorFlow e ho ottenuto valori negativi per metà delle mie funzionalità. A quanto ho capito, questo non dovrebbe succedere. …

10 machine-learning  kernel-smoothing  feature-construction  tensorflow  fourier-transform