Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

1
Con la convalida incrociata di k-fold, fai la media di tutti i modelli
Quando eseguo la convalida incrociata di k-fold, comprendo che ottieni le metriche di precisione indicando tutte le pieghe tranne una su quella piega e fai previsioni, quindi ripeti questo processo volte. Puoi quindi eseguire metriche di accuratezza su tutte le tue istanze (precisione, richiamo,% classificate correttamente), che dovrebbero essere le …
3
È necessario un algoritmo per calcolare la probabilità relativa che i dati siano campionati da una distribuzione normale o lognormale
Diciamo che hai un insieme di valori e vuoi sapere se è più probabile che siano stati campionati da una distribuzione gaussiana (normale) o campionati da una distribuzione lognormale? Naturalmente, idealmente sapresti qualcosa sulla popolazione o sulle fonti di errore sperimentale, quindi avresti ulteriori informazioni utili per rispondere alla domanda. …
2
Regressione lineare e non lineare
Ho una serie di valori ed y che sono teoricamente correlati esponenziale:xxxyyy y=axby=axby = ax^b Un modo per ottenere i coefficienti è applicare logaritmi naturali su entrambi i lati e applicare un modello lineare: > fit <- lm(log(y)~log(x)) > a <- exp(fit$coefficients[1]) > b <- fit$coefficients[2] Un altro modo per …
3
Quando è appropriata la trasformazione z di Fisher?
Voglio testare una correlazione del campione rrr per significatività, usando i valori p, cioè H0:ρ=0,H1:ρ≠0.H0:ρ=0,H1:ρ≠0.H_0: \rho = 0, \; H_1: \rho \neq 0. Ho capito che posso usare la trasformata z di Fisher per calcolare questo zobs=n−3−−−−−√2ln(1+r1−r)zobs=n−32ln⁡(1+r1−r)z_{obs}= \displaystyle\frac{\sqrt{n-3}}{2}\ln\left(\displaystyle\frac{1+r}{1-r}\right) e trovare il valore p di p=2P(Z>zobs)p=2P(Z>zobs)p = 2P\left(Z>z_{obs}\right) utilizzando la distribuzione …
1
Quando si crea un modello di regressione utilizzando set di modellazione / convalida separati, è appropriato "ricircolare" i dati di convalida?
Supponiamo di avere una divisione 80/20 tra osservazioni di modellazione / validazione. Ho adattato un modello al set di dati di modellazione e mi sento a mio agio con l'errore visualizzato sul set di dati di convalida. Prima di implementare il mio modello per calcolare il punteggio delle osservazioni future, …
1
Foresta casuale e previsione
Sto cercando di capire come funziona Random Forest. Ho una comprensione di come vengono costruiti gli alberi, ma non riesco a capire come Random Forest faccia previsioni sul campione fuori borsa. Qualcuno potrebbe darmi una spiegazione semplice, per favore? :)
1
Variabile dipendente standardizzata all'interno di un gruppo nei modelli di dati del pannello?
Ha senso la standardizzazione di una variabile dipendente all'interno del gruppo identificativo? Il seguente documento di lavoro (rallentamento della deforestazione nell'Amazzonia legale; Prezzi o politiche ?, pdf ) utilizza una variabile dipendente standardizzata per analizzare l'effetto del cambiamento generale delle politiche in Brasile sulla deforestazione. Yn e wI t= YI …
2
Quando registrare / espandere le variabili quando si utilizzano modelli a foresta casuale?
Sto facendo regressione utilizzando le foreste casuali per prevedere i prezzi in base a diversi attributi. Il codice è scritto in Python usando Scikit-learn. Come decidete se trasformare le variabili usando exp/ logprima di usarle per adattarsi al modello di regressione? È necessario quando si utilizza un approccio Ensemble come …
1
Predizione su modelli di effetti misti: cosa fare con gli effetti casuali?
Consideriamo questo ipotetico set di dati: set.seed(12345) num.subjects <- 10 dose <- rep(c(1,10,50,100), num.subjects) subject <- rep(1:num.subjects, each=4) group <- rep(1:2, each=num.subjects/2*4) response <- dose*dose/10 * group + rnorm(length(dose), 50, 30) df <- data.frame(dose=dose, response=response, subject=subject, group=group) possiamo usare lmeper modellare la risposta con un modello di effetto casuale: require(nlme) …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.