Statistiche e Big Data

3

Classificatore con precisione regolabile vs richiamo

Sto lavorando a un problema di classificazione binaria in cui è molto più importante non avere falsi positivi; molti falsi negativi vanno bene. Ho usato un sacco di classificatori in sklearn per esempio, ma penso che nessuno di loro abbia la capacità di regolare esplicitamente il compromesso del richiamo di …

11 classification precision-recall

2

Domanda su Continuous Bag of Words

Ho difficoltà a comprendere questa frase: La prima architettura proposta è simile all'NNLM feedforward, in cui viene rimosso lo strato nascosto non lineare e lo strato di proiezione è condiviso per tutte le parole (non solo la matrice di proiezione); quindi, tutte le parole vengono proiettate nella stessa posizione (i …

11 machine-learning neural-networks natural-language word-embeddings language-models

2

Perché dovremmo rimuovere la stagionalità da una serie storica?

Mentre lavoriamo con le serie storiche, a volte rileviamo e rimuoviamo la stagionalità usando l'analisi spettrale. Sono un vero principiante nelle serie storiche e sono confuso perché si vorrebbe rimuovere la stagionalità dalle serie storiche originali? La rimozione della stagionalità non distorce i dati originali? Quali vantaggi otteniamo costruendo una …

11 time-series seasonality

2

Quale distribuzione assume il test esatto di Fisher?

Nel mio lavoro ho visto diversi usi del test esatto di Fisher e mi chiedevo quanto si adattava ai miei dati. Osservando diverse fonti ho capito come calcolare la statistica, ma non ho mai visto una spiegazione chiara e formale dell'ipotesi nulla assunta. Qualcuno può spiegarmi o riferirmi a una …

11 hypothesis-testing chi-squared multinomial contingency-tables fishers-exact

2

Perché Adaboost con gli alberi decisionali?

Ho letto un po 'su come potenziare gli algoritmi per le attività di classificazione e Adaboost in particolare. Capisco che lo scopo di Adaboost è quello di prendere diversi "discenti deboli" e, attraverso una serie di iterazioni sui dati di allenamento, spingere i classificatori a imparare a prevedere le classi …

11 machine-learning classification algorithms boosting

2

Perché la convoluzione funziona?

Quindi so che se vogliamo trovare la distribuzione di probabilità di una somma di variabili casuali indipendenti , possiamo calcolarla dalle distribuzioni di probabilità di e , dicendoX+YX+YX + YXXXYYY fX+Y(a)=∫∞x=−∞fX,Y(X=x,Y=a−x) dx=∫∞x=−∞fX(x)fY(a−x) dxfX+Y(a)=∫x=−∞∞fX,Y(X=x,Y=a−x) dx=∫x=−∞∞fX(x)fY(a−x) dxf_{X + Y}(a) = \int_{x = -\infty}^{\infty} f_{X, Y}(X = x, Y = a - x)~dx …

11 probability

1

Riferimenti e migliori pratiche per impostare semi nella generazione di numeri pseudo-casuali

In questo documento , che riguarda il comando "imposta seme", le persone Stata discutono questioni relative all'impostazione dei semi quando generano numeri pseudo-casuali. Un notevole "non" è "non usare in serie la sequenza di numeri naturali come semi, perché questo ha uno schema e mette in pericolo la pseudo-casualità". Un …

11 random-generation

2

Che cos'è una distribuzione delle probabilità del registro?

Sto leggendo un libro di testo sull'apprendimento automatico (Data Mining di Witten, et al., 2011) e mi sono imbattuto in questo passaggio: ... Inoltre, è possibile utilizzare diverse distribuzioni. Sebbene la distribuzione normale sia di solito una buona scelta per gli attributi numerici, non è adatta per attributi che hanno …

11 machine-learning distributions

2

Se una serie temporale è stazionaria di secondo ordine, ciò significa che è rigorosamente stazionaria?

Un processo è strettamente stazionario se la distribuzione congiunta di è uguale alla distribuzione congiunta di per tutti , per tutti e per tutti .X t 1 , X t 2 , . . . , X t m X t 1 + k , X t 2 + k …

11 time-series autocorrelation stochastic-processes stationarity

2

Come eseguire analisi residue per predittori binari / dicotomici indipendenti nella regressione lineare?

Sto eseguendo la regressione lineare multipla di seguito in R per prevedere i rendimenti sui fondi gestiti. reg <- lm(formula=RET~GRI+SAT+MBA+AGE+TEN, data=rawdata) Qui solo GRI e MBA sono predittori binari / dicotomici; i predittori rimanenti sono continui. Sto usando questo codice per generare grafici residui per le variabili binarie. plot(rawdata$GRI, reg$residuals) …

11 r multiple-regression categorical-data heteroscedasticity residuals

3

Cos'è una buona AUC per una curva di richiamo di precisione?

Poiché ho un set di dati molto sbilanciato (esiti positivi del 9%), ho deciso che una curva di richiamo di precisione era più appropriata di una curva ROC. Ho ottenuto l'analoga misura sommaria dell'area sotto la curva PR (.49, se sei interessato) ma non sono sicuro di come interpretarla. Ho …

11 classification precision-recall auc

2

È possibile accettare l'ipotesi alternativa?

Sono a conoscenza di diverse domande correlate qui (ad esempio, la terminologia del test di ipotesi che circonda null , è possibile dimostrare un'ipotesi nulla? ) Ma non conosco la risposta definitiva per la mia domanda di seguito. Supponiamo un test di ipotesi in cui vogliamo verificare se una moneta …

11 hypothesis-testing

2

Perché è desiderabile avere una bassa auto-correlazione in MCMC?

Continuo a leggere sulla necessità di verificare l'autocorrelazione in MCMC. Perché è importante che l'autocorrelazione sia bassa? Cosa misura nel contesto di MCMC?

11 sampling autocorrelation mcmc

1

regressione per dati angolari / circolari

Ho supervisionato un problema di apprendimento in cui gli obiettivi sono angoli. Se farei una semplice regressione, i numeri 360 e 1 sarebbero lontani per il mio modello, ma in realtà sono vicini e prevedere le coordinate xey non sembra giusto, dal momento che sto cercando di prevedere solo un …

11 regression circular-statistics

1

Ordine di ritardo per il test di causalità di Granger

Supponiamo che sto prendendo in considerazione diverse variabili indipendenti per la possibile inclusione in un modello ARIMAX che sto sviluppando. Prima di adattare variabili diverse, vorrei selezionare le variabili che mostrano causalità inversa usando un test di Granger (sto usando la granger.testfunzione del MSBVARpacchetto in R, anche se credo che …

11 lags granger-causality