Statistiche e Big Data

Dato iid, considera le variabili casualiX1,…,Xn,…∼N(0,1)X1,…,Xn,…∼N(0,1)X_1, \ldots, X_n, \ldots \sim \mathscr{N}(0,1) Zn:=max1≤i≤nXi.Zn:=max1≤i≤nXi. Z_n := \max_{1 \le i \le n} X_i\,. Domanda: Qual è il risultato più "importante" di queste variabili casuali? Per chiarire "l'importanza", quale risultato ha il maggior numero di altri risultati come conseguenza logica? Quale dei risultati viene …

9 mathematical-statistics  references  extreme-value  maximum 

La funzione di densità di probabilità di una distribuzione uniforme (continua) è mostrata sopra. L'area sotto la curva è 1, il che ha senso poiché la somma di tutte le probabilità in una distribuzione di probabilità è 1. Formalmente, la funzione di probabilità sopra (f (x)) può essere definita come …

9 probability  distributions  uniform 

Date due variabili casuali altamente correlate e , vorrei limitare la probabilità che la differenzasupera un certo importo: XXXYYY|X−Y||X−Y| |X - Y| P(|X−Y|&gt;K)&lt;δP(|X−Y|&gt;K)&lt;δ P( |X - Y| > K) < \delta Supponiamo per semplicità che: Il coefficiente di correlazione è noto per essere "alto", ad esempio: ρX,Y=covar(X,Y)/σXσY≥1−ϵρX,Y=covar(X,Y)/σXσY≥1−ϵ \rho_{X,Y}= {covar(X,Y)} / …

9 correlation  mathematical-statistics  bounds 

Supponiamo che io abbia parametri positivi per stimare e le corrispondenti stime stimate prodotte dagli stimatori , ovvero , e così via.nnnμ1,μ2,...,μnμ1,μ2,...,μn\mu_1,\mu_2,...,\mu_nnnnμ1^,μ2^,...,μn^μ1^,μ2^,...,μn^\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}E[μ1^]=μ1E[μ1^]=μ1\mathrm E[\hat{\mu_1}]=\mu_1E[μ2^]=μ2E[μ2^]=μ2\mathrm E[\hat{\mu_2}]=\mu_2 Vorrei stimare min(μ1,μ2,...,μn)min(μ1,μ2,...,μn)\mathrm{min}(\mu_1,\mu_2,...,\mu_n) usando le stime a portata di mano. Chiaramente lo stimatore ingenuo min(μ1^,μ2^,...,μn^)min(μ1^,μ2^,...,μn^)\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) è di parte inferiore come E[min(μ1^,μ2^,...,μn^)]≤min(μ1,μ2,...,μn)E[min(μ1^,μ2^,...,μn^)]≤min(μ1,μ2,...,μn)\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n) Supponiamo di avere …

9 unbiased-estimator  estimators  minimum 

Sia un campione casuale dalla distribuzione gamma .G a m m a ( α , β )X1,...,XnX1,...,XnX_1,...,X_nGamma(α,β)Gamma(α,β)\mathrm{Gamma}\left(\alpha,\beta\right) Sia X¯X¯\bar{X} e S2S2S^2 la media e la varianza del campione. Quindi prova o confuta che X¯X¯\bar{X} e S2/X¯2S2/X¯2S^2/\bar{X}^2 sono indipendenti. Il mio tentativo: poiché S2/ X¯2= 1n - 1Σni = 1( XioX¯- …

9 self-study  distributions  independence  gamma-distribution 

Intro Ho partecipanti che toccano ripetutamente superfici contaminate con E. coli in due condizioni ( A = indossando guanti, B = senza guanti). Voglio sapere se c'è una differenza tra la quantità di batteri sulla punta delle dita con e senza guanti, ma anche tra il numero di contatti. Entrambi …

9 r  anova  repeated-measures  lme4-nlme  glmm 

Recentemente ho ricapitolato le mie conoscenze sulle serie storiche e mi sono reso conto che l'apprendimento automatico fornisce principalmente solo un passo avanti alle previsioni. Con le previsioni a un passo avanti intendo previsioni che, ad esempio, se disponiamo di dati orari, utilizziamo i dati dalle 10 per prevedere le …

9 machine-learning  time-series  forecasting  arima 

Mi è stato insegnato che possiamo produrre una stima dei parametri sotto forma di un intervallo di confidenza dopo il campionamento da una popolazione. Ad esempio, gli intervalli di confidenza al 95%, senza ipotesi violate, dovrebbero avere un tasso di successo del 95% di contenere qualunque sia il vero parametro …

9 hypothesis-testing  confidence-interval  estimation  inference 

È possibile che il PDF della differenza di due iid rv sembri un rettangolo (anziché, diciamo, il triangolo che otteniamo se i rv sono presi dalla distribuzione uniforme). cioè è possibile che il PDF f di jk (per due iid rv presi da una certa distribuzione) abbia f (x) = …

9 random-variable  pdf  iid 

Conosco i primi momenti di una certa distribuzione. So anche che la mia distribuzione è continua, unimodale e ben modellata (sembra una distribuzione gamma). È possibile:NNN Usando qualche algoritmo, genera campioni da questa distribuzione, che in condizioni limite avrà esattamente gli stessi momenti? Risolvi questo problema analiticamente? Capisco che fino …

9 distributions  moments 

La definizione più semplice di statistiche sufficienti nella prospettiva frequentista è data qui in Wikipedia . Tuttavia, di recente mi sono imbattuto in un libro bayesiano, con la definizione . Nel link è indicato che entrambi sono equivalenti, ma non vedo come. Inoltre, nella stessa pagina, nella sezione «Altri tipi …

9 bayesian  mathematical-statistics  sufficient-statistics 

Sto cercando di modellare e prevedere una serie temporale ciclica piuttosto che stagionale (cioè ci sono modelli stagionali, ma non con un periodo fisso). Questo dovrebbe essere possibile fare usando un modello ARIMA, come menzionato nella Sezione 8.5 delle Previsioni: principi e prassi : Il valore di è importante se …

9 time-series  forecasting  arima  seasonality 

Potrebbe trattarsi di una domanda filosofica, ma qui andiamo: nella teoria delle decisioni, il rischio di uno stimatore di Bayes per è definito rispetto a una distribuzione precedente su .θ∈Θ¸Θθ^( x )θ^(x)\hat\theta(x)θ ∈ Θθ∈Θ\theta\in\Thetaππ\piΘΘ\Theta Ora, da un lato, affinché il vero abbia generato i dati (cioè "esista"), deve essere una …

9 bayesian  prior  decision-theory  point-estimation 

Mi sono imbattuto nel seguente problema di simulazione: dato un set di numeri reali noti, una distribuzione su è definita da dove indica la parte positiva di . Mentre riesco a pensare a un campionatore Metropolis-Hastings che prende di mira questa distribuzione, mi chiedo se esiste un campionatore diretto efficiente, …

9 simulation  algorithms  random-generation  computational-statistics  metropolis-hastings 

Chiuso . Questa domanda deve essere più focalizzata . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che si concentri su un problema solo modificando questo post . Chiuso 2 anni fa . Sono nuovo nel campo dell'apprendimento automatico, ma volevo provare a implementare …

9 machine-learning  classification  neural-networks  transfer-learning