Statistiche e Big Data

È noto che una variabile casuale essendo Gamma distribuita con il parametro di forma intera è equivalente alla somma dei quadrati di variabili casuali normalmente distribuite.kkkkkk Ma cosa posso dire di una variabile casuale distribuita gamma con non intero ? C'è qualche altra interpretazione diversa dalla distribuzione gamma?kkk

9 probability  gamma-distribution 

Sono abituato a conoscere i "gradi di libertà" come , dove hai il modello lineare \ mathbf {y} = \ mathbf {X} \ boldsymbol {\ beta} + \ boldsymbol {\ epsilon} con \ mathbf {y } \ in \ mathbb {R} ^ n , \ mathbf {X} \ in M_ …

9 t-test  degrees-of-freedom 

Nel famoso esperimento di Fisher osservabile è il numero di corretto tazza intuito avente due tipi di coppa A e B . Di solito è interessante calcolare la regione critica per rifiutare l'ipotesi nulla (la signora sta indovinando in modo casuale) date le dimensioni del test α . Questo può …

9 hypothesis-testing  power  fishers-exact 

Qualcuno può dirmi come simulare Bernoulli(ab)Bernoulli(ab)\mathrm{Bernoulli}\left({a\over b}\right) , dove a,b∈Na,b∈Na,b\in \mathbb{N} , usando un gettone (tutte le volte che vuoi) con P(H)=pP(H)=pP(H)=p ? Stavo pensando di utilizzare il campionamento del rifiuto, ma non sono riuscito a inchiodarlo.

9 probability  simulation  bernoulli-distribution  rejection-sampling 

Sto facendo i compiti sugli alberi decisionali e una delle domande a cui devo rispondere è "Perché gli stimatori sono costruiti su alberi distorti e in che modo l'insacco aiuta a ridurne la varianza?". Ora, so che i modelli troppo equipaggiati tendono ad avere una propensione molto bassa, perché cercano …

9 cart  bias 

Esiste una relazione matematica tra: la somiglianza del coseno di due vettori e esim( A , B )sim⁡(A,B)\operatorname{sim}(A, B)UNAABBB la somiglianza del coseno di e , ridimensionata in modo non uniforme tramite una data matrice ? Qui è una data matrice diagonale con elementi disuguali sulla diagonale.sim( MA , MB …

9 linear-algebra  cosine-similarity 

Sto attualmente esaminando un documento sul modello di effetti casuali del processo Dirichlet e le specifiche del modello sono le seguenti: dove è il parametro di scala e è la misura di base. Più avanti nel documento, suggerisce che integriamo una funzione sulla misura di base come La misura di …

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory 

Nel loro documento sulla autoencoders per la classificazione di testo Hinton e Salakhutdinov dimostrato la trama prodotta da 2-dimensionale LSA (che è strettamente legata alla PCA): . Applicando la PCA a dati dimensionali leggermente diversi e assolutamente diversi ho ottenuto una trama dall'aspetto simile: (tranne in questo caso, volevo davvero …

9 data-visualization  pca 

Sto cercando risorse (non deve essere un libro unico) che coprano alcuni dei casi più impegnativi di progettazione sperimentale e analisi statistica. Alcuni dei casi che vorrei essere coperti: 1. Casi in cui le unità di randomizzazione sono diverse dalle unità di analisi Esempio: gestisco una piattaforma di e-commerce con …

9 references  experiment-design 

Considera la perdita quadratica , con il precedente dato dove . Sia la probabilità. Trova lo stimatore di Bayes .L(θ,δ)=(θ−δ)2L(θ,δ)=(θ−δ)2L(\theta,\delta)=(\theta-\delta)^2π(θ)π(θ)\pi(\theta)π(θ)∼U(0,1/2)π(θ)∼U(0,1/2)\pi(\theta)\sim U(0,1/2)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπδπ\delta^\pi Considera la perdita quadratica ponderata dove con precedente . Sia sia la probabilità. Trova lo stimatore di Bayes .Lw(θ,δ)=w(θ)(θ−δ)2Lw(θ,δ)=w(θ)(θ−δ)2L_w(\theta,\delta)=w(\theta)(\theta-\delta)^2w(θ)=I(−∞,1/2)w(θ)=I(−∞,1/2)w(\theta)=\mathbb{I}_{(-\infty,1/2)}π1(θ)=I[0,1](θ)π1(θ)=I[0,1](θ)\pi_1(\theta)=\mathbb{I}_{[0,1]}(\theta)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπ1δ1π\delta^\pi_1 Confronta eδπδπ\delta^\piδπ1δ1π\delta^\pi_1 Per prima cosa ho …

9 self-study  bayesian  estimation  hierarchical-bayesian  loss-functions 

È radicato nell'insegnamento delle discipline applicate, come la medicina, che le misurazioni delle quantità biomediche nella popolazione seguono una normale "curva a campana". Una ricerca su Google della stringa "abbiamo assunto una distribuzione normale" restituisce risultati! Sembrano " , dato il piccolo numero di punti estremi di dati, abbiamo assunto …

9 normal-distribution  assumptions  normality-assumption  lognormal 

Sto imparando il deep learning (in particolare le CNN) e come in genere richiede moltissimi dati per prevenire un eccesso di adattamento. Tuttavia, mi è stato anche detto che maggiore è la capacità / più parametri ha un modello, più dati sono necessari per evitare un eccesso di adattamento. Pertanto, …

9 machine-learning  neural-networks  deep-learning  conv-neural-network 

Supponiamo di voler formare una rete neurale profonda per eseguire la classificazione o la regressione, ma voglio sapere quanto sarà sicura la previsione. Come ho potuto raggiungere questo obiettivo? La mia idea è di calcolare l'entropia crociata per ogni dato di allenamento, in base alle sue prestazioni di previsione nei …

9 machine-learning  neural-networks 

Ho letto i classificatori algebrici: un approccio generico alla convalida incrociata rapida, alla formazione online e alla formazione parallela e sono rimasto sorpreso dalle prestazioni degli algoritmi derivati. Tuttavia, sembra che oltre a Naive Bayes (e GBM) non ci siano molti algoritmi adattati al framework. Ci sono altri articoli che …

9 cross-validation  references  random-forest  computational-statistics  naive-bayes 

La domanda si basa sull'articolo intitolato: Ricostruzione dell'immagine nella tomografia ottica diffusa utilizzando il modello di trasporto-diffusione radiativo accoppiato Link per scaricare Gli autori applicano l'algoritmo EM con regolarizzazione della sparsità di un vettore sconosciuto per stimare i pixel di un'immagine. Il modello è dato dal1l1l_1μμ\mu y=Aμ+e(1)(1)y=Aμ+ey=A\mu + e \tag{1} …

9 self-study  bayesian  maximum-likelihood  expectation-maximization  moving-average