Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

Come prevedere o estendere le linee di regressione in ggplot2?

Ho un frame di dati che contiene due serie temporali: le date e i numeri di versione delle versioni di Emacs e Firefox. Usando un comando ggplot2 è facile creare un grafico che usa loess (in un modo che sembra un po 'divertente, che non mi dispiace) per trasformare i …

17 prediction ggplot2

Come devo organizzare la presentazione del mio poster?

Attualmente sto realizzando una presentazione di poster e vorrei alcuni consigli (o riferimenti a consigli) su alcuni aspetti della grafica. Per esempi di poster di cui sto parlando, vedere il materiale supplementare per gli articoli di ASA Data Expo nel volume 20 Numero 2 del Journal of Computational and Graphical …

17 data-visualization presentation

Previsione dell'argomento mediante allocazione latente di Dirichlet

Ho usato LDA su un corpus di documenti e ho trovato alcuni argomenti. L'output del mio codice è di due matrici contenenti probabilità; le probabilità di un argomento di un documento e le altre probabilità di un argomento di parola. Ma in realtà non so come usare questi risultati per …

17 text-mining topic-models

Boosting AND Bagging Trees (XGBoost, LightGBM)

Ci sono molti post sul blog, video di YouTube, ecc. Sulle idee di insaccamento o potenziamento degli alberi. La mia comprensione generale è che lo pseudo codice per ciascuno è: insacco: Prendi N campioni casuali di x% dei campioni e y% delle caratteristiche Adatta il tuo modello (ad es. Albero …

17 cart boosting xgboost bagging

Importanza delle funzionalità con variabili fittizie

Sto cercando di capire come posso ottenere l'importanza di una variabile categoriale che è stata suddivisa in variabili fittizie. Sto usando scikit-learn che non gestisce le variabili categoriali per te come fanno R o h2o. Se suddivido una variabile categoriale in variabili fittizie, ottengo importazioni di funzionalità separate per classe …

17 categorical-data random-forest interpretation importance

Qual è la differenza tra le previsioni "in-sample" e "out-of-sample"?

Non capisco qual è esattamente la differenza tra la previsione "in-sample" e "out of sample"? Una previsione nel campione utilizza un sottoinsieme dei dati disponibili per prevedere i valori al di fuori del periodo di stima. Una previsione fuori campione utilizza invece tutti i dati disponibili Sono corretti ? Molto …

17 forecasting

Comprensione del test di Kolmogorov-Smirnov in R

Sto cercando di capire l'output della funzione di test di Kolmogorov-Smirnov (due campioni, due facciate). Ecco un semplice test. x <- c(1,2,2,3,3,3,3,4,5,6) y <- c(2,3,4,5,5,6,6,6,6,7) z <- c(12,13,14,15,15,16,16,16,16,17) ks.test(x,y) # Two-sample Kolmogorov-Smirnov test # #data: x and y #D = 0.5, p-value = 0.1641 #alternative hypothesis: two-sided # #Warning message: …

17 r kolmogorov-smirnov ties

Classificazione con incremento gradiente: come mantenere la previsione in [0,1]

La domanda Faccio fatica a capire come la previsione viene mantenuta entro l' intervallo quando si esegue la classificazione binaria con Gradient Boosting.[0,1][0,1][0,1] Supponiamo di lavorare su un problema di classificazione binaria e la nostra funzione oggettiva è la perdita del log, , dove è la variabile target e è …

17 logistic classification boosting

Come rimuovere sistematicamente variabili collineari in Python? [chiuso]

Chiuso. Questa domanda è fuori tema . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per Cross Validated. Chiuso 2 anni fa . Finora ho rimosso le variabili collineari come parte del processo di preparazione dei dati guardando le tabelle …

17 python multicollinearity scikit-learn

Come trovare / stimare la funzione di densità di probabilità dalla funzione di densità in R

Supponiamo che io abbia una variabile come Xcon una distribuzione sconosciuta. In Mathematica, usando la SmoothKernelDensityfunzione possiamo avere una funzione di densità stimata. Questa funzione di densità stimata può essere usata insieme alla PDFfunzione per calcolare la funzione di densità di probabilità di un valore come Xnella forma di PDF[density,X]assumere …

17 r pdf cdf

Una foresta casuale con uscite multiple sarebbe possibile / pratica?

Random Forests (RFs) è un metodo di modellazione / mining di dati competitivo. Un modello RF ha un'uscita: la variabile di uscita / previsione. L'approccio ingenuo alla modellazione di più uscite con RF sarebbe quello di costruire una RF per ogni variabile di uscita. Quindi abbiamo N modelli indipendenti e …

17 machine-learning cart random-forest multilabel

Revisione della letteratura sulla regressione non lineare

Qualcuno sa di un buon articolo di revisione per la letteratura statistica sulla regressione non lineare? Sono principalmente interessato ai risultati di coerenza e agli asintotici. Di particolare interesse è il modello yI t= m ( xI t, θ ) + ϵI t,yiot=m(Xiot,θ)+εiot,y_{it} = m(x_{it},\theta) + \epsilon_{it}, per i dati …

17 regression references nonlinear-regression

Qual è la differenza tra SVM e LDA?

Qual è la differenza tra Support Vector Machines e Linear Discriminant Analysis?

17 classification

ROC vs curve di richiamo di precisione su set di dati non bilanciati

Ho appena finito di leggere questa discussione. Sostengono che PR AUC è migliore di ROC AUC su set di dati non bilanciati. Ad esempio, abbiamo 10 campioni nel set di dati di prova. 9 campioni sono positivi e 1 è negativo. Abbiamo un modello terribile che prevede tutto positivo. Pertanto, …

17 machine-learning model-selection roc unbalanced-classes precision-recall

Interpretazione della somiglianza del coseno negativo

La mia domanda potrebbe essere sciocca. Quindi mi scuserò in anticipo. Stavo cercando di utilizzare il modello GLOVE pre-addestrato dal gruppo Stanford NLP ( link ). Tuttavia, ho notato che i miei risultati di somiglianza hanno mostrato alcuni numeri negativi. Ciò mi ha immediatamente spinto a guardare il file di …

17 machine-learning word2vec cosine-similarity

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.