Statistiche e Big Data

3

AIC contro validazione incrociata in serie temporali: il piccolo caso campione

Sono interessato alla selezione del modello in un'impostazione di serie storiche. Per concretezza, supponiamo che io voglia selezionare un modello ARMA da un pool di modelli ARMA con diversi ordini di ritardo. L' intento finale è la previsione . La selezione del modello può essere effettuata da convalida incrociata, utilizzo …

23 time-series forecasting cross-validation model-selection aic

4

Come sapere se la mia distribuzione dei dati è simmetrica?

So che se la mediana e la media sono approssimativamente uguali, significa che esiste una distribuzione simmetrica, ma in questo caso particolare non ne sono certo. La media e la mediana sono abbastanza vicine (solo 0,487 m / gall differenza), il che mi porterebbe a dire che c'è una distribuzione …

23 distributions mean skewness median qq-plot

2

Perché la prova di Wilks del 1938 non funziona per i modelli non specificati?

Nel famoso articolo del 1938 (" La grande distribuzione del rapporto di verosimiglianza per il test di ipotesi composite ", Annals of Mathematical Statistics, 9: 60-62), Samuel Wilks derivò la distribuzione asintotica di (log verosimiglianza) per ipotesi nidificate, presupponendo che l'ipotesi più ampia sia specificata correttamente. La distribuzione limite è …

23 hypothesis-testing model-selection likelihood-ratio asymptotics misspecification

2

Qual è la funzione di perdita di SVM a margine duro?

La gente dice che il margine debole SVM usa la funzione di perdita della cerniera: . Tuttavia, la funzione oggettiva effettiva che SVM del margine debole cerca di minimizzare è \ frac {1} {2} \ | w \ | ^ 2 + C \ sum_i \ max (0,1-y_i (w ^ …

23 svm loss-functions

2

Definizione del tempo di autocorrelazione (per dimensioni del campione effettive)

Ho trovato due definizioni in letteratura per il tempo di autocorrelazione di una serie temporale debolmente stazionaria: τun'= 1 + 2 ∑k = 1∞ρKcontroτB= 1 + 2 ∑k = 1∞|ρK|τun'=1+2ΣK=1∞ρKcontroτB=1+2ΣK=1∞|ρK| \tau_a = 1+2\sum_{k=1}^\infty \rho_k \quad \text{versus} \quad \tau_b = 1+2\sum_{k=1}^\infty \left|\rho_k\right| dove è l'autocorrelazione al ritardok. ρK= Cov [ Xt, …

23 r time-series correlation

3

Interpretazione statistica della massima distribuzione di entropia

Ho usato il principio della massima entropia per giustificare l'uso di diverse distribuzioni in vari contesti; tuttavia, devo ancora essere in grado di formulare un'interpretazione statistica, al contrario di quella teorica dell'informazione, della massima entropia. In altre parole, cosa implica massimizzare l'entropia riguardo alle proprietà statistiche della distribuzione? Qualcuno ha …

23 distributions entropy intuition information-theory maximum-entropy

2

Cosa significa "fiduciale" (nel contesto della statistica)?

Quando ho Google per "fisher" "fiducial" ... Di sicuro ottengo molti successi, ma tutti quelli che ho seguito sono assolutamente al di là della mia comprensione. Tutti questi successi sembrano avere una cosa in comune: sono tutti scritti per statistici tinti di lana, persone profondamente immerse nella teoria, nella pratica, …

23 bayesian inference terminology fiducial ronald-fisher

6

Precisione del test superiore all'allenamento. Come interpretare?

Ho un set di dati contenente al massimo 150 esempi (suddivisi in training e test), con molte funzionalità (superiore a 1000). Devo confrontare i classificatori e i metodi di selezione delle caratteristiche che funzionano bene sui dati. Quindi, sto usando tre metodi di classificazione (J48, NB, SVM) e 2 metodi …

23 classification feature-selection

4

Perché i ricercatori usano la validazione incrociata 10 volte invece di testare su un set di validazione?

Ho letto molti articoli di ricerca sulla classificazione dei sentimenti e argomenti correlati. La maggior parte di essi utilizza una validazione incrociata di 10 volte per addestrare e testare i classificatori. Ciò significa che non viene eseguito alcun test / convalida separato. Perché? Quali sono i vantaggi / gli svantaggi …

23 classification cross-validation

1

Kolmogorov-Smirnov con dati discreti: qual è l'uso corretto di dgof :: ks.test in R?

Domande per principianti: Voglio verificare se due set di dati discreti provengono dalla stessa distribuzione. Mi è stato suggerito un test di Kolmogorov-Smirnov. Conover ( Practical Nonparametric Statistics , 3d) sembra dire che il test di Kolmogorov-Smirnov può essere utilizzato per questo scopo, ma il suo comportamento è "conservativo" con …

23 r goodness-of-fit discrete-data kolmogorov-smirnov

2

Foreste casuali per regressione multivariata

Ho un problema di regressione multi-output con input e output . Gli output hanno una struttura di correlazione complessa, non lineare.dXdXd_xdydyd_y Vorrei usare foreste casuali per fare la regressione. Per quanto ne so, le foreste casuali per la regressione funzionano solo con un singolo output, quindi dovrei addestrare foreste casuali …

23 regression multivariate-analysis random-forest

4

Imputazione di valori mancanti per PCA

Ho usato la prcomp()funzione per eseguire un PCA (analisi del componente principale) in R. Tuttavia, c'è un bug in quella funzione in modo che il na.actionparametro non funzioni. Ho chiesto aiuto su stackoverflow ; due utenti hanno offerto due modi diversi di trattare i NAvalori. Tuttavia, il problema con entrambe …

23 r pca missing-data data-imputation

3

Interpretazione dei numeri AIC e BIC

Sto cercando esempi su come interpretare le stime AIC (criterio di informazione Akaike) e BIC (criterio di informazione bayesiano). La differenza negativa tra i BIC può essere interpretata come la probabilità posteriore di un modello rispetto all'altro? Come posso dirlo a parole? Ad esempio il BIC = -2 può implicare …

23 interpretation aic bic

1

Impostazione di nodi in spline cubiche naturali in R

Ho dati con molte funzionalità correlate e voglio iniziare riducendo le funzionalità con una funzione base, prima di eseguire un LDA. Sto cercando di utilizzare spline cubiche naturali nel splinespacchetto con la nsfunzione. Come posso fare per assegnare i nodi? Ecco il codice R di base: library(splines) lda.pred <- lda(y …

23 r splines

3

Perché abbattere il denominatore nel teorema di Bayes?

(Sono un principiante alle statistiche. Sono un matematico e un programmatore e sto cercando di creare qualcosa di simile a un ingenuo filtro antispam bayesiano.) Ho notato in molti luoghi che le persone tendono a scomporre il denominatore nell'equazione del Teorema di Bayes. Quindi invece di questo: P(A|B)⋅P(B)P(A)P(A|B)⋅P(B)P(A)\frac{P(A|B)\cdot P(B)}{P(A)} Ci …

23 bayesian