Statistiche e Big Data

È stato esaminato un campione di popolazione casuale. È stato chiesto loro se seguivano una dieta vegetariana. Se hanno risposto di sì, è stato anche chiesto loro di specificare da quanto tempo hanno seguito una dieta vegetariana senza interruzione. Voglio usare questi dati per calcolare la durata media di aderenza …

16 survival  mean  missing-data  survey  weighted-mean 

Considera la variabile gamma random X∼Γ(α,θ)X∼Γ(α,θ)X\sim\Gamma(\alpha, \theta) . Esistono formule precise per media, varianza e asimmetria: E[X]Var[X]Skewness[X]=αθ=αθ2=1/α⋅E[X]2=2/α−−√E[X]=αθVar⁡[X]=αθ2=1/α⋅E[X]2Skewness⁡[X]=2/α\begin{align} \mathbb E[X]&=\alpha\theta\\ \operatorname{Var}[X]&=\alpha\theta^2=1/\alpha\cdot\mathbb E[X]^2\\ \operatorname{Skewness}[X]&=2/\sqrt{\alpha} \end{align} Considera ora una variabile casuale trasformata in logY=log(X)Y=log⁡(X)Y=\log(X) . Wikipedia fornisce formule per la media e la varianza: E[Y]Var[Y]=ψ(α)+log(θ)=ψ1(α)E[Y]=ψ(α)+log⁡(θ)Var⁡[Y]=ψ1(α)\begin{align} \mathbb E[Y]&=\psi(\alpha)+\log(\theta)\\ \operatorname{Var}[Y]&=\psi_1(\alpha)\\ \end{align} tramite funzioni digamma e …

16 gamma-distribution  skewness  logarithm 

Sebbene i risultati del set di test privato non possano essere utilizzati per perfezionare ulteriormente il modello, la selezione del modello su un numero enorme di modelli non viene eseguita in base ai risultati del set di test privato? Non riusciresti, con quel solo processo, a finire con il sovradimensionamento …

16 model-selection  overfitting  out-of-sample 

Sto cercando di capire meglio la perdita di registro e come funziona, ma una cosa che non riesco a trovare è inserire il numero di perdita di registro in una sorta di contesto. Se il mio modello ha una perdita di registro di 0,5, va bene? Qual è considerato un …

16 machine-learning  loss-functions  log-loss 

Stavo leggendo un articolo e ho visto la seguente frase: Per una data martingala, se ha un limite superiore o inferiore, allora la martingala deve convergere (come). Poiché la probabilità è sempre non negativa, 0 è un limite inferiore. Cosa significa "as"? È un uso comune? La mia ipotesi è …

16 abbreviation 

Il più delle volte quando le persone parlano di trasformazioni variabili (sia per il predittore che per le variabili di risposta), discutono dei modi per trattare l'asimmetria dei dati (come la trasformazione dei log, la trasformazione di box e cox ecc.). Ciò che non sono in grado di comprendere è …

16 modeling  skewness 

Qual è il modello null nella regressione e qual è la relazione tra il modello null e l'ipotesi nulla? Per la mia comprensione, significa Utilizzando "media della variabile di risposta" per prevedere la variabile di risposta continua? Usando la "distribuzione di etichette" nel prevedere variabili di risposta discrete? In tal …

16 regression  hypothesis-testing  classification  terminology  model 

Sono un po 'confuso riguardo all'apprendimento dell'ensemble. In poche parole, gestisce k modelli e ottiene la media di questi k modelli. Come si può garantire che la media dei modelli k sarebbe migliore di qualsiasi modello da solo? Capisco che la distorsione è "diffusa" o "mediata". Tuttavia, cosa succede se …

16 machine-learning  ensemble 

Ho imparato che la distribuzione normale standard è unica perché la media e la varianza sono fissate rispettivamente a 0 e 1. Con questo fatto, mi chiedo se due variabili casuali standard debbano essere indipendenti.

16 normal-distribution  independence 

Questo problema è legato alla ricerca del mio laboratorio sulla copertura robotica: Disegna casualmente numeri dall'insieme senza sostituzione e ordina i numeri in ordine crescente. .nnn{1,2,…,m}{1,2,…,m}\{1,2,\ldots,m\}1≤n≤m1≤n≤m1\le n\le m Da questo elenco ordinato di numeri , genera la differenza tra numeri consecutivi e limiti: . Questo dà spazi vuoti.{a(1),a(2),…,a(n)}{a(1),a(2),…,a(n)}\{a_{(1)},a_{(2)},…,a_{(n)}\}g={a(1),a(2)−a(1),…,a(n)−a(n−1),m+1−a(n)}g={a(1),a(2)−a(1),…,a(n)−a(n−1),m+1−a(n)}g = \{a_{(1)},a_{(2)}−a_{(1)},\ldots,a_{(n)}−a_{(n-1)},m+1-a_{(n)}\}n+1n+1n+1 …

16 probability  mathematical-statistics  uniform  combinatorics  order-statistics 

Quali approcci teorici alla causalità dovrei conoscere come statistico / econometrico applicato? Conosco il (un pochino) Modello causale Neyman-Rubin (e Roy , Haavelmo ecc.) Il lavoro di Pearl sulla causalità Granger Causality (anche se meno orientato al trattamento) Quali concetti mi mancano o dovrei conoscere? Correlati: quali teorie sono le …

16 machine-learning  causality  theory  treatment-effect 

Nella letteratura della rete neurale, spesso incontriamo la parola "tensore". È diverso da un vettore? E da una matrice? Hai qualche esempio specifico che chiarisce la sua definizione? Sono un po 'confuso riguardo alla sua definizione. Wikipedia non aiuta e talvolta ho l'impressione che la sua definizione dipenda dallo specifico …

16 neural-networks  terminology  definition  tensor 

Background: molta della ricerca moderna negli ultimi 4 anni (post alexnet ) sembra essersi allontanata dall'uso della pre-generazione generativa per le reti neurali per ottenere risultati di classificazione all'avanguardia. Ad esempio, i migliori risultati per mnist qui includono solo 2 articoli dei primi 50 che sembrano usare modelli generativi, entrambi …

16 references  deep-learning  rbm  generative-models 

Provo a riprodurre con optimi risultati di una semplice regressione lineare dotata di glmo anche nlsfunzioni R. Le stime dei parametri sono le stesse ma la stima della varianza residua e gli errori standard degli altri parametri non sono gli stessi, in particolare quando la dimensione del campione è bassa. …

16 r  maximum-likelihood  optimization 

Sto cercando di capire l'affermazione generale presentata in Taleb, 2016, La meta-distribuzione di valori p standard . In esso, Taleb espone il seguente argomento per inaffidabilità del valore p (a quanto ho capito): Una procedura di stima che opera su nnn punti dati provenienti da alcuni distribuzione XXXgenera un valore …

16 hypothesis-testing  statistical-significance  p-value