Statistiche e Big Data

Di recente ho visto questo discorso di Eric J. Ma e ho controllato il suo blog , in cui cita Radford Neal, che i modelli bayesiani non si adattano troppo (ma possono adattarsi troppo ) e quando li usano, non abbiamo bisogno di set di test per convalidarli (per me …

9 machine-learning  bayesian  cross-validation  deep-learning 

Un pdf è solitamente scritto come , dove la minuscola viene trattata come una realizzazione o un risultato della variabile casuale che ha quel pdf. Allo stesso modo, un cdf è scritto come , che ha il significato . Tuttavia, in alcune circostanze, come la definizione della funzione score e …

9 random-variable  pdf  cdf  intuition 

Sto studiando la differenza tra regolarizzazione nella regressione RKHS e regressione lineare, ma faccio fatica a capire la differenza cruciale tra i due. ( xio, yio)(xi,yi)(x_i,y_i)f( ⋅ )f(⋅)f(\cdot)f( x ) ≈ u ( x ) = ∑i = 1mαioK( x , xio) ,f(x)≈u(x)=∑i=1mαiK(x,xi),\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}K( ⋅ , ⋅ )K(⋅,⋅)K(\cdot,\cdot)αmαm\alpha_mminα …

9 regression  generalized-linear-model  regularization  kernel-trick  rbf-kernel 

Attualmente sto cercando una panoramica sugli algoritmi di apprendimento del rinforzo e forse una loro classificazione. Ma accanto a Sarsa e Q-Learning + Deep Q-Learning non riesco davvero a trovare alcun algoritmo popolare. Wikipedia mi offre una panoramica sui diversi metodi generali di apprendimento del rinforzo, ma non vi è …

9 reinforcement-learning  q-learning 

Lascia che sia in . Quali sono la matrice media e di covarianza di (con il massimo calcolato elementalmente)?Z∼N(μ,Σ)Z∼N(μ,Σ)Z \sim \mathcal N(\mu, \Sigma)RdRd\mathbb R^dZ+=max(0,Z)Z+=max(0,Z)Z_+ = \max(0, Z) Ciò si verifica ad esempio perché, se utilizziamo la funzione di attivazione ReLU all'interno di una rete profonda e supponiamo tramite il CLT …

9 probability  distributions  normal-distribution  moments  censoring 

Sto cercando di capire il funzionamento interiore dell'Hamiltoniano Monte Carlo (HMC), ma non riesco a comprendere appieno la parte quando sostituiamo la deterministica integrazione temporale con una proposta di metropoli. Sto leggendo il fantastico documento introduttivo A Conceptual Introduction to Hamiltonian Monte Carlo di Michael Betancourt, quindi seguirò la stessa …

9 mcmc  monte-carlo  hmc 

Ho incontrato un comportamento paradossale dei cosiddetti "test esatti" o "test di permutazione", il cui prototipo è il test di Fisher. Ecco qui. Immagina di avere due gruppi di 400 individui (ad esempio 400 controllo contro 400 casi) e una covariata con due modalità (ad esempio esposta / non esposta). …

9 power  permutation-test  fishers-exact 

L'occorrenza non così rara quando si ha a che fare con modelli misti massimi complessi (stimando tutti i possibili effetti casuali per dati e modello dati) è perfetta (+1 o -1) o correlazione quasi perfetta tra alcuni effetti casuali. Ai fini della discussione, osserviamo il seguente modello e riepilogo del …

9 r  correlation  mixed-model  lme4-nlme  covariance-matrix 

Supponiamo di fare un esempio di giocattolo su gradiente decente, riducendo al minimo una funzione quadratica , utilizzando la dimensione del gradino fissa . ( )XTA xXTUNXx^TAxα = 0,03α=0.03\alpha=0.03A = [ 10 , 2 ; 2 , 3 ]UN=[10,2;2,3]A=[10, 2; 2, 3] Se tracciamo la traccia di in ogni iterazione, …

9 r  machine-learning  optimization  gradient-descent 

Se ho due diverse distribuzioni simmetriche (rispetto alla mediana) e , la differenza anche una distribuzione simmetrica (rispetto alla mediana)?Y X - YXXXYYYX−YX−YX-Y

9 distributions  median 

Quindi ho fatto un test di probabilità e non sono riuscito a rispondere a questa domanda. Ha appena chiesto qualcosa del genere: "Considerando che è una variabile casuale, 0 , usa la disuguaglianza corretta per dimostrare ciò che è superiore o uguale, E (X ^ 2) ^ 3 o E …

9 probability  self-study  probability-inequalities 

Se X∼C(0,1)X∼C(0,1)X\sim\mathcal C(0,1) , trova la distribuzione di Y=2X1−X2Y=2X1−X2Y=\frac{2X}{1-X^2} . Abbiamo FY(y)=Pr(Y≤y)FY(y)=Pr(Y≤y)F_Y(y)=\mathrm{Pr}(Y\le y) =Pr(2X1−X2≤y)=Pr(2X1−X2≤y)\qquad\qquad\qquad=\mathrm{Pr}\left(\frac{2X}{1-X^2}\le y\right) =⎧⎩⎨⎪⎪⎪⎪⎪⎪Pr(X∈(−∞,−1−1+y2√y])+Pr(X∈(−1,−1+1+y2√y]),ify&gt;0Pr(X∈(−1,−1+1+y2√y])+Pr(X∈(1,−1−1+y2√y]),ify&lt;0={Pr(X∈(−∞,−1−1+y2y])+Pr(X∈(−1,−1+1+y2y]),ify&gt;0Pr(X∈(−1,−1+1+y2y])+Pr(X∈(1,−1−1+y2y]),ify&lt;0\qquad\qquad=\begin{cases} \mathrm{Pr}\left(X\in\left(-\infty,\frac{-1-\sqrt{1+y^2}}{y}\right]\right)+\mathrm{Pr}\left(X\in\left(-1,\frac{-1+\sqrt{1+y^2}}{y}\right]\right),\text{if}\quad y>0\\ \mathrm{Pr}\left(X\in\left(-1,\frac{-1+\sqrt{1+y^2}}{y}\right]\right)+\mathrm{Pr}\left(X\in\left(1,\frac{-1-\sqrt{1+y^2}}{y}\right]\right),\text{if}\quad y<0 \end{cases} Mi chiedo se la distinzione di cui sopra sia corretta o meno. D'altra parte, il seguente sembra un metodo più semplice: Possiamo scrivere Y=tan(2tan−1X)Y=tan⁡(2tan−1⁡X)Y=\tan(2\tan^{-1}X) usando l'identità 2tanz1−tan2z=tan2z2tan⁡z1−tan2⁡z=tan⁡2z\frac{2\tan z}{1-\tan^2z}=\tan 2z …

9 self-study  distributions  mathematical-statistics  random-variable 

Fa implica l'indipendenza di e ?Cov(f(X),Y)=0∀f(.)Cov(f(X),Y)=0∀f(.)\mathbb{Cov} \left(f(X),Y\right) = 0 \; \forall \; f(.)XXXYYY Sono a conoscenza solo con la seguente definizione di indipendenza tra e .XXXYYY fx,y(x,y)=fx(x)fy(y)fx,y(x,y)=fx(x)fy(y) f_{x,y}(x,y) = f_x(x)f_y(y)

9 random-variable  independence 

Casella e Berger dichiarano la proprietà di invarianza dello stimatore ML come segue: Tuttavia, mi sembra che definiscano la "probabilità" di in un modo completamente ad hoc e senza senso:ηη\eta Se applico le regole di base della teoria della probabilità al caso semplice se , ottengo invece quanto segue: L …

9 self-study  bayesian  maximum-likelihood  frequentist  invariance 

Chiuso . Questa domanda deve essere più focalizzata . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che si concentri su un problema solo modificando questo post . Chiuso 9 giorni fa . Q1: Esistono metodi comuni o accettati per affrontare l'ambiente non stazionario …

9 markov-process  reinforcement-learning  stationarity  q-learning