Statistiche e Big Data

1

Come formare una curva di richiamo di precisione quando ho un solo valore per PR?

Ho un incarico di data mining in cui realizzo un sistema di recupero di immagini basato sul contenuto. Ho 20 immagini di 5 animali. Quindi in totale 100 immagini. Il mio sistema restituisce le 10 immagini più rilevanti in un'immagine di input. Ora devo valutare le prestazioni del mio sistema …

12 data-mining matlab precision-recall curves computer-vision

2

Probit minimi quadrati a due stadi (2SLS)

Mi è stato detto che è possibile eseguire una regressione IV a due stadi in cui il primo è un probit e il secondo è un OLS. È possibile utilizzare 2SLS se il primo stadio è un probit ma il secondo è un modello probit / poisson?

12 binary-data instrumental-variables probit 2sls

1

Test di set di dati di grandi dimensioni per la normalità: come ed è affidabile?

Sto esaminando una parte del mio set di dati contenente 46840 valori doppi che vanno da 1 a 1690 raggruppati in due gruppi. Al fine di analizzare le differenze tra questi gruppi, ho iniziato esaminando la distribuzione dei valori al fine di scegliere il test giusto. Seguendo una guida ai …

12 r normal-distribution normality-assumption large-data

3

Sviluppo di un modello di serie temporale appropriato per prevedere le vendite in base al record del mese scorso

Gestisco un'azienda online da due anni consecutivi, quindi ho i miei dati di vendita mensili da circa due anni. La mia attività per ogni mese è sicuramente influenzata dallo swing stagionale (prestazioni migliori a Natale, ecc.) E probabilmente da altri fattori di cui non sono a conoscenza. Al fine di …

12 time-series forecasting

3

Quali sono le definizioni di semi coniugati e condizionale coniugati priori?

Quali sono le definizioni di priori semi-coniugati e di priori coniugati condizionali ? Li ho trovati nella Bayesian Data Analysis di Gelman , ma non sono riuscito a trovare le loro definizioni.

12 bayesian

2

Metodi MCMC: masterizzazione di campioni?

Nei metodi MCMC , continuo a leggere sul burn-intempo o sul numero di campioni da "burn". Che cos'è esattamente e perché è necessario? Aggiornare: Una volta che MCMC si stabilizza, rimane stabile? In che modo la nozione di burn-intempo è collegata a quella del tempo di miscelazione?

12 sampling mcmc

4

Esecuzione di PCA con solo una matrice di distanza

Voglio raggruppare un enorme set di dati per il quale ho solo le distanze a coppie. Ho implementato un algoritmo k-medoids, ma ci vuole troppo tempo per essere eseguito, quindi vorrei iniziare riducendo la dimensione del mio problema applicando PCA. Tuttavia, l'unico modo che conosco per eseguire questo metodo è …

12 pca dimensionality-reduction multidimensional-scaling

1

Confronto tra coefficienti di regressione dello stesso modello tra diversi set di dati

Sto valutando due (2) refrigeranti (gas) che sono stati utilizzati nello stesso sistema di refrigerazione. Ho dati saturi di temperatura di aspirazione ( ), temperatura di condensazione ( ) e amperaggio ( ) per la valutazione. Esistono due (2) set di dati; 1o refrigerante ( ) e 2o refrigerante ( …

12 regression regression-coefficients

1

Esempi intuitivi di campionamento di importanza

Il mio background è l'informatica. Sono abbastanza nuovo nei metodi di campionamento del monte carlo e, sebbene comprenda la matematica, ho difficoltà a trovare esempi intuitivi per il campionamento di importanza. Più precisamente, qualcuno potrebbe fornire esempi di: una distribuzione originale da cui non è possibile campionare ma che si …

12 probability distributions sampling importance-sampling

2

Best practice per la creazione di "dati ordinati"

Hadley Wickham ha scritto un articolo stellare chiamato "Tidy Data" ( link ) in JSS lo scorso anno sulla manipolazione dei dati e riportando i dati in una condizione "ottimale" per eseguire analisi. Tuttavia, mi chiedevo quali fossero le migliori pratiche in termini di presentazione di dati tabulari in un …

12 dataset tables

3

Approssimazione normale alla distribuzione di Poisson

Qui in Wikipedia si dice: Per valori sufficientemente grandi di , (diciamo λ> 1000 ), la distribuzione normale con media λ e varianza λ (deviazione standard \ sqrt {\ lambda} ) è un'approssimazione eccellente della distribuzione di Poisson. Se λ è maggiore di circa 10, la distribuzione normale è una …

12 normal-distribution poisson-distribution approximation

1

Test esatto di Fisher e distribuzione ipergeometrica

Volevo capire meglio il test esatto del pescatore, quindi ho escogitato il seguente esempio di giocattolo, dove f e m corrispondono a maschio e femmina e n e y corrispondono a "consumo di soda" in questo modo: > soda_gender f m n 0 5 y 5 0 Ovviamente, questa è …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

2

Perché Thomas Bayes ha trovato il teorema di Bayes così stimolante?

Questa è più una questione di storia della scienza, ma spero che sia in tema qui. Ho letto che Thomas Bayes è riuscito a scoprire il teorema di Bayes solo per il caso speciale di un'uniforme precedente, e anche allora ha lottato con esso, a quanto pare. Considerando quanto sia …

12 bayesian bayes history

1

La preelaborazione è necessaria prima della previsione utilizzando FinalModel di RandomForest con pacchetto di inserimento?

Uso il pacchetto di cursore per allenare un oggetto randomForest con 10x10CV. library(caret) tc <- trainControl("repeatedcv", number=10, repeats=10, classProbs=TRUE, savePred=T) RFFit <- train(Defect ~., data=trainingSet, method="rf", trControl=tc, preProc=c("center", "scale")) Successivamente, testare randomForest su un testSet (nuovi dati) RF.testSet$Prediction <- predict(RFFit, newdata=testSet) La matrice di confusione mi mostra che il modello …

12 r random-forest prediction caret

3

Quando è appropriato selezionare i modelli minimizzando l'AIC?

È accertato, almeno tra gli statistici di qualche livello superiore, che i modelli con i valori della statistica AIC entro una certa soglia del valore minimo dovrebbero essere considerati appropriati come il modello che minimizza la statistica AIC. Ad esempio, in [1, p.221] troviamo Quindi i modelli con GCV di …

12 time-series model-selection aic