Statistiche e Big Data prediction

1

Sto cercando di capire come funziona Random Forest. Ho una comprensione di come vengono costruiti gli alberi, ma non riesco a capire come Random Forest faccia previsioni sul campione fuori borsa. Qualcuno potrebbe darmi una spiegazione semplice, per favore? :)

13 random-forest prediction

1

Predizione su modelli di effetti misti: cosa fare con gli effetti casuali?

Consideriamo questo ipotetico set di dati: set.seed(12345) num.subjects <- 10 dose <- rep(c(1,10,50,100), num.subjects) subject <- rep(1:num.subjects, each=4) group <- rep(1:2, each=num.subjects/2*4) response <- dose*dose/10 * group + rnorm(length(dose), 50, 30) df <- data.frame(dose=dose, response=response, subject=subject, group=group) possiamo usare lmeper modellare la risposta con un modello di effetto casuale: require(nlme) …

13 mixed-model linear-model prediction

3

Previsione dei dati di conteggio con foresta casuale

Una foresta casuale può essere addestrata per prevedere in modo appropriato i dati di conteggio? Come procederebbe? Ho una vasta gamma di valori, quindi la classificazione non ha davvero senso. Se usassi la regressione, troncerei semplicemente i risultati? Sono abbastanza perso qui. Qualche idea?

12 r regression random-forest prediction count-data

1

Test esatto di Fisher e distribuzione ipergeometrica

Volevo capire meglio il test esatto del pescatore, quindi ho escogitato il seguente esempio di giocattolo, dove f e m corrispondono a maschio e femmina e n e y corrispondono a "consumo di soda" in questo modo: > soda_gender f m n 0 5 y 5 0 Ovviamente, questa è …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

1

La preelaborazione è necessaria prima della previsione utilizzando FinalModel di RandomForest con pacchetto di inserimento?

Uso il pacchetto di cursore per allenare un oggetto randomForest con 10x10CV. library(caret) tc <- trainControl("repeatedcv", number=10, repeats=10, classProbs=TRUE, savePred=T) RFFit <- train(Defect ~., data=trainingSet, method="rf", trControl=tc, preProc=c("center", "scale")) Successivamente, testare randomForest su un testSet (nuovi dati) RF.testSet$Prediction <- predict(RFFit, newdata=testSet) La matrice di confusione mi mostra che il modello …

12 r random-forest prediction caret

1

Perché Netflix dovrebbe passare dal suo sistema di valutazione a cinque stelle a un sistema like / antipatia?

Netflix era solito basare i suoi suggerimenti sulle valutazioni inviate da un utente di altri film / spettacoli. Questo sistema di valutazione aveva cinque stelle. Ora, Netflix consente agli utenti di apprezzare / non amare (pollice su / pollice giù) film / spettacoli. Sostengono che sia più facile valutare i …

11 variance predictive-models prediction

1

Intervallo di previsione = intervallo credibile?

Mi chiedo se l'intervallo di previsione e l'intervallo credibile valutino la stessa cosa. Ad esempio con una regressione lineare, quando si stima l'intervallo di previsione di un valore adattato, si stimano i limiti dell'intervallo in cui si prevede che il valore diminuisca. Al contrario di un intervallo di confidenza, non …

11 bayesian linear-model prediction prediction-interval credible-interval

1

R neuralnet: il calcolo fornisce una risposta costante

Sto cercando di usare il neuralnetpacchetto di R (documentazione qui ) per la previsione. Ecco cosa sto cercando di fare: library(neuralnet) x <- cbind(runif(50, min=1, max=500), runif(50, min=1, max=500)) y <- x[, 1] * x[, 2] train <- data.frame(x, y) n <- names(train) f <- as.formula(paste('y ~', paste(n[!n %in% 'y'], …

11 r neural-networks prediction error

1

Selezione del modello ABC

È stato dimostrato che la scelta del modello ABC utilizzando i fattori di Bayes non è raccomandabile a causa della presenza di un errore derivante dall'uso di statistiche riassuntive. La conclusione in questo articolo si basa sullo studio del comportamento di un metodo popolare per l'approssimazione del fattore di Bayes …

11 bayesian model-selection prediction abc

2

Intervalli di previsione e tolleranza

Ho un paio di domande per gli intervalli di previsione e tolleranza. Concordiamo prima sulla definizione degli intervalli di tolleranza: ci viene dato un livello di confidenza, diciamo il 90%, la percentuale della popolazione da catturare, diciamo il 99% e una dimensione del campione, diciamo 20. La distribuzione della probabilità …

11 prediction prediction-interval tolerance-interval

1

R / mgcv: Perché i prodotti tensor te () e ti () producono superfici diverse?

Il mgcvpacchetto per Rha due funzioni per adattare le interazioni del prodotto tensore: te()e ti(). Comprendo la divisione di base del lavoro tra i due (adattamento di un'interazione non lineare rispetto alla scomposizione di questa interazione in effetti principali e un'interazione). Quello che non capisco è perché te(x1, x2)e ti(x1) …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

1

Come calcolare i punteggi di confidenza nella regressione (con foreste casuali / XGBoost) per ciascuna previsione in R?

C'è un modo per ottenere un punteggio di confidenza (possiamo chiamarlo anche valore di confidenza o probabilità) per ciascun valore previsto quando si utilizzano algoritmi come Random Forests o Extreme Gradient Boosting (XGBoost)? Supponiamo che questo punteggio di confidenza varierebbe da 0 a 1 e mostriamo quanto sono fiducioso su …

11 r regression random-forest prediction boosting

1

Predire con effetti casuali nella gamma mgcv

Sono interessato a modellare il pescato totale usando gam in mgcv per modellare semplici effetti casuali per le singole navi (che effettuano viaggi ripetuti nel tempo nel settore della pesca). Ho 98 soggetti, quindi ho pensato di usare gam invece di gamm per modellare gli effetti casuali. Il mio modello …

10 prediction random-effects-model gam mgcv

2

Qual è la relazione tra inferenza causale e previsione?

Quali sono le relazioni e le differenze tra inferenza causale e predizione (sia classificazione che regressione)? Nel contesto della previsione, abbiamo il predittore / variabili di input e variabili di risposta / output. Ciò significa che esiste una relazione causale tra le variabili di input e output? Quindi, la previsione …

10 prediction causality definition

2

Una '' variabile significativa '' che non migliora le previsioni fuori campione: come interpretare?

Ho una domanda che penso sarà abbastanza semplice per molti utenti. Sto usando modelli di regressione lineare per (i) studiare la relazione tra diverse variabili esplicative e la mia variabile di risposta e (ii) prevedere la mia variabile di risposta usando le variabili esplicative. Una particolare variabile esplicativa X sembra …

10 statistical-significance predictive-models p-value prediction out-of-sample

Domande taggate «prediction»