Statistiche e Big Data

5

È barare eliminare i valori anomali in base al diagramma a scatole di Errore assoluto medio per migliorare un modello di regressione

Ho un modello di previsione testato con quattro metodi, come puoi vedere nella figura del diagramma a scatole di seguito. L'attributo previsto dal modello è compreso nell'intervallo 0-8. È possibile notare che sono presenti un valore anomalo superiore e tre valori anomali inferiori indicati da tutti i metodi. Mi chiedo …

15 regression machine-learning multiple-regression predictive-models outliers

2

Perché l'ottimizzazione delle aspettative è importante per i modelli di miscele?

Ci sono molte pubblicazioni che enfatizzano il metodo di massimizzazione delle aspettative su modelli di miscele (Miscela di gaussiana, modello nascosto di Markov, ecc.). Perché EM è importante? EM è solo un modo per fare l'ottimizzazione e non è ampiamente usato come metodo basato sul gradiente (gradiente decente o metodo …

15 machine-learning optimization expectation-maximization gaussian-mixture

2

Qual è un buon metodo per il clustering di testo breve?

Sto lavorando a un problema di clustering di testo. I dati contengono diverse frasi. Esiste un buon algoritmo che raggiunge un'elevata precisione su testi brevi? Potete fornire buone referenze? Algoritmi come KMeans, clustering spettrale non funzionano bene per questo problema.

15 machine-learning clustering text-mining

5

Errore di approssimazione dell'intervallo di confidenza per la media quando

Sia {Xi}ni=1{Xi}i=1n\{X_i\}_{i=1}^n una famiglia di variabili casuali iid che assume valori in [0,1][0,1][0,1] , con una media μμ\mu e varianza σ2σ2\sigma^2 . Un semplice intervallo di confidenza per la media, usando σσ\sigma ogni volta che è noto, è dato da P(|X¯−μ|>ε)≤σ2nε2≤1nε2(1).P(|X¯−μ|>ε)≤σ2nε2≤1nε2(1). P( | \bar X - \mu| > \varepsilon) \le …

15 normal-distribution confidence-interval references asymptotics approximation

2

Buona precisione nonostante l'alto valore di perdita

Durante l'addestramento di un semplice classificatore binario di una rete neurale ottengo un alto valore di perdita, usando l'entropia incrociata. Nonostante ciò, il valore dell'accuratezza sul set di validazione è abbastanza buono. Ha qualche significato? Non esiste una stretta correlazione tra perdita e precisione? Ho sulla formazione e la convalida …

15 neural-networks accuracy

1

Qual è la differenza tra PCA normale e PCA probabilistico?

So che il normale PCA non segue il modello probabilistico per i dati osservati. Qual è la differenza di base tra PCA e PPCA ? Nel modello di variabile latente PPCA contiene ad esempio le variabili osservate , latente (variabili non osservate ) e una matrice che non deve essere …

15 pca

1

Derivazione del cambiamento di variabili di una funzione di densità di probabilità?

Nel libro riconoscimento del modello e apprendimento automatico (formula 1.27), fornisce py(y)=px(x)∣∣∣dxdy∣∣∣=px(g(y))|g′(y)|py(y)=px(x)|dxdy|=px(g(y))|g′(y)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) | dovex=g(y)x=g(y)x=g(y),px(x)px(x)p_x(x)è il pdf che corrisponde apy(y)py(y)p_y(y)rispetto alla modifica della variabile. Il libro dice che le osservazioni che rientrano nell'intervallo , per piccoli valori di δ x , verranno …

15 machine-learning probability self-study derivative jacobian

1

Uno stimatore imparziale del rapporto tra due coefficienti di regressione?

Supponiamo che si adatti una regressione lineare / logistica g(y)=a0+a1⋅x1+a2⋅x2g(y)=a0+a1⋅x1+a2⋅x2g(y) = a_0 + a_1\cdot x_1 + a_2\cdot x_2 , con l'obiettivo di una stima imparziale di . Sei molto sicuro che sia che siano molto positivi rispetto al rumore nelle loro stime.a1a2a1a2\frac{a_1}{a_2}a1a1a_1a2a2a_2 Se si dispone della covarianza congiunta di , …

15 regression regression-coefficients unbiased-estimator ratio

4

In che tipo di situazioni di vita reale possiamo usare un algoritmo bandito multi-braccio?

I banditi multibraccio funzionano bene in situazioni in cui hai delle scelte e non sei sicuro di quale massimizzerà il tuo benessere. È possibile utilizzare l'algoritmo per alcune situazioni di vita reale. Ad esempio, l'apprendimento può essere un buon campo: Se un bambino sta imparando la falegnameria e non sa …

15 algorithms reinforcement-learning multiarmed-bandit

2

Per i varianble casuali

Esiste una distribuzione per due variabili casuali iid cui la distribuzione congiunta di X - Y è uniforme rispetto al supporto [0,1]?X,YX,YX,YX−YX−YX-Y

15 distributions random-variable

1

In che modo la discesa gradiente stocastica può far risparmiare tempo rispetto alla discesa gradiente standard?

Discesa gradiente standard calcolerebbe il gradiente per l'intero set di dati di allenamento. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Per un numero predefinito di epoche, prima calcoliamo il vettore gradiente weights_grad della funzione di perdita per l'intero set di dati …

15 machine-learning optimization gradient-descent computational-statistics sgd

1

Come adattare un modello misto con una variabile di risposta compresa tra 0 e 1?

Sto cercando di utilizzare lme4::glmer()per adattare un modello misto generalizzato binomiale (GLMM) con una variabile dipendente che non è binaria, ma una variabile continua tra zero e uno. Si può pensare a questa variabile come a una probabilità; in effetti è la probabilità riportata da soggetti umani (in un esperimento …

15 r logistic mixed-model glmm lme4-nlme

2

Siamo frequentisti davvero solo bayesiani impliciti / inconsapevoli?

Per un dato problema di inferenza, sappiamo che un approccio bayesiano di solito differisce sia nella forma che nei risultati da un approccio fequentista. I frequentatori (di solito mi includono) sottolineano spesso che i loro metodi non richiedono un precedente e quindi sono più "guidati dai dati" che dal "giudizio …

15 bayesian inference likelihood likelihood-ratio frequentist

2

Che cosa significa dire che un evento "accade alla fine"?

Considera una passeggiata casuale a 1 dimensione sugli interi con stato iniziale :ZZ\mathbb{Z}x∈Zx∈Zx\in\mathbb{Z} Sn=x+∑i=1nξiSn=x+∑i=1nξi\begin{equation} S_n=x+\sum^n_{i=1}\xi_i \end{equation} dove gli incrementi sono IID tali che .ξiξi\xi_iP{ξi=1}=P{ξi=−1}=12P{ξi=1}=P{ξi=−1}=12P\{\xi_i=1\}=P\{\xi_i=-1\}=\frac{1}{2} Si può dimostrare che (1) Px{Sn reaches +1 eventually}=1Px{Sn reaches +1 eventually}=1\begin{equation} P^x{\{S_n \text{ reaches +1 eventually}\}} = 1 \end{equation} dove il pedice indica la posizione …

15 probability terminology stochastic-processes randomness random-walk

4

L'accuratezza della macchina con incremento gradiente diminuisce all'aumentare del numero di iterazioni

Sto sperimentando l'algoritmo della macchina per aumentare il gradiente tramite il caretpacchetto in R. Utilizzando un piccolo set di dati di ammissione al college, ho eseguito il seguente codice: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- …

15 machine-learning caret boosting gbm hypothesis-testing t-test panel-data psychometrics intraclass-correlation generalized-linear-model categorical-data binomial model intercept causality cross-correlation distributions ranks p-value z-test sign-test time-series references terminology cross-correlation definition probability distributions beta-distribution inverse-gamma missing-data paired-comparisons paired-data clustered-standard-errors cluster-sample time-series arima logistic binary-data odds-ratio medicine hypothesis-testing wilcoxon-mann-whitney unsupervised-learning hierarchical-clustering neural-networks train clustering k-means regression ordinal-data change-scores machine-learning experiment-design roc precision-recall auc stata multilevel-analysis regression fitting nonlinear jmp r data-visualization gam gamm4 r lme4-nlme many-categories regression causality instrumental-variables endogeneity controlling-for-a-variable