Statistiche e Big Data scikit-learn

1

Come dividere il set di dati per la validazione incrociata, la curva di apprendimento e la valutazione finale?

Qual è una strategia appropriata per suddividere il set di dati? Chiedo feedback sul seguente approccio (non sui singoli parametri come test_sizeo n_iter, ma se usato X, y, X_train, y_train, X_test, e y_testin modo appropriato e se la sequenza senso): (estendendo questo esempio dalla documentazione di scikit-learn) 1. Caricare il …

70 machine-learning cross-validation python scikit-learn

1

Codifica one-hot vs dummy in Scikit-learn

Esistono due modi diversi per codificare le variabili categoriali. Supponiamo che una variabile categoriale abbia n valori. La codifica one-hot lo converte in n variabili, mentre la codifica fittizia lo converte in n-1 variabili. Se abbiamo k variabili categoriali, ognuna delle quali ha n valori. Una codifica a caldo termina …

50 regression categorical-data data-transformation scikit-learn data-preprocessing

5

Come si interpretano i pesi delle funzioni SVM?

Sto cercando di interpretare i pesi variabili dati montando un SVM lineare. (Sto usando Scikit-Learn ): from sklearn import svm svm = svm.SVC(kernel='linear') svm.fit(features, labels) svm.coef_ Non riesco a trovare nulla nella documentazione che specifichi specificamente come questi pesi vengono calcolati o interpretati. Il segno del peso ha qualcosa a …

42 svm feature-selection python scikit-learn

2

Panda / Statsmodel / Scikit-learn

I panda, i modelli statistici e lo Scikit apprendono diverse implementazioni delle operazioni di apprendimento automatico / statistiche o sono complementari tra loro? Quale di questi ha la funzionalità più completa? Quale è attivamente sviluppato e / o supportato? Devo implementare la regressione logistica. Qualche suggerimento su quale di questi …

41 machine-learning python scikit-learn statsmodels pandas

2

Regressione logistica: Scikit Learn vs Statsmodels

Sto cercando di capire perché l'output della regressione logistica di queste due librerie dia risultati diversi. Sto usando il set di dati da UCLA Idre esercitazione , predicendo admitbasa sulla gre, gpae rank. rankviene trattato come variabile categoriale, quindi viene prima convertito in variabile fittizia con rank_1eliminato. Viene inoltre aggiunta …

31 regression logistic python scikit-learn statsmodels

3

Regressione polinomiale usando scikit-learn

Sto cercando di usare scikit-learn per la regressione polinomiale. Da quello che leggo la regressione polinomiale è un caso speciale di regressione lineare. Stavo pensando che forse uno dei modelli lineari generalizzati di scikit possa essere parametrizzato per adattarsi a polinomi di ordine superiore ma non vedo alcuna opzione per …

29 regression machine-learning large-data polynomial scikit-learn

1

cosa significano i numeri nel rapporto di classificazione di sklearn?

Ho un esempio che ho tratto dalla documentazione sklearn.metrics.classification_report di sklearn. Quello che non capisco è perché ci sono valori di f1, precisione e valori di richiamo per ogni classe in cui credo che la classe sia l'etichetta predittore? Ho pensato che il punteggio f1 ti dicesse l'accuratezza complessiva del …

29 machine-learning python scikit-learn precision-recall

1

I gradi di libertà possono essere un numero non intero?

Quando uso GAM, mi dà DF residuo è (ultima riga nel codice). Cosa significa? Andando oltre l'esempio GAM, in generale, il numero di gradi di libertà può essere un numero non intero?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median …

27 r degrees-of-freedom gam machine-learning pca lasso probability self-study bootstrap expected-value regression machine-learning linear-model probability simulation random-generation machine-learning distributions svm libsvm classification pca multivariate-analysis feature-selection archaeology r regression dataset simulation r regression time-series forecasting predictive-models r mean sem lavaan machine-learning regularization regression conv-neural-network convolution classification deep-learning conv-neural-network regression categorical-data econometrics r confirmatory-factor scale-invariance self-study unbiased-estimator mse regression residuals sampling random-variable sample probability random-variable convergence r survival weibull references autocorrelation hypothesis-testing distributions correlation regression statistical-significance regression-coefficients univariate categorical-data chi-squared regression machine-learning multiple-regression categorical-data linear-model pca factor-analysis factor-rotation classification scikit-learn logistic p-value regression panel-data multilevel-analysis variance bootstrap bias probability r distributions interquartile time-series hypothesis-testing normal-distribution normality-assumption kurtosis arima panel-data stata clustered-standard-errors machine-learning optimization lasso multivariate-analysis ancova machine-learning cross-validation

2

Area sotto la curva di richiamo di precisione (AUC della curva PR) e precisione media (AP)

La precisione media (AP) è l'area sotto la curva di richiamo di precisione (AUC della curva PR)? MODIFICARE: ecco alcuni commenti sulla differenza tra PR AUC e AP. L'AUC è ottenuto per interpolazione trapezoidale della precisione. Una metrica alternativa e di solito quasi equivalente è la precisione media (AP), restituita …

27 scikit-learn precision-recall auc average-precision

4

Insieme di diversi tipi di regressori che usano scikit-learn (o qualsiasi altro framework python)

Sto cercando di risolvere l'attività di regressione. Ho scoperto che 3 modelli funzionano bene per diversi sottoinsiemi di dati: LassoLARS, SVR e Gradient Tree Boosting. Ho notato che quando faccio previsioni usando tutti questi 3 modelli e poi faccio una tabella di "output reale" e output dei miei 3 modelli, …

27 regression scikit-learn ensemble

2

Perché l'LDA di Python-scikit-learning non funziona correttamente e come calcola l'LDA tramite SVD?

Stavo usando Linear Discriminant Analysis (LDA) dalla scikit-learnlibreria di machine learning (Python) per la riduzione della dimensionalità ed ero un po 'curioso dei risultati. Mi chiedo ora cosa scikit-learnstia facendo l'ADL in modo che i risultati appaiano diversi, ad esempio, da un approccio manuale o da un ADL fatto in …

26 python scikit-learn dimensionality-reduction discriminant-analysis svd

2

Errore percentuale assoluto medio (MAPE) in Scikit-learn [chiuso]

Chiuso. Questa domanda è fuori tema . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per Cross Validated. Chiuso 2 anni fa . Come possiamo calcolare l'errore percentuale assoluta media (MAPE) delle nostre previsioni usando Python e scikit-learn? Dai documenti …

24 predictive-models python scikit-learn mape

5

Overfitting: nessun proiettile d'argento?

La mia comprensione è che anche quando si seguono le corrette procedure di convalida incrociata e selezione dei modelli, si verificherà un overfitting se si cerca un modello abbastanza duramente , a meno che non si impongano restrizioni sulla complessità del modello, sul periodo. Inoltre, spesso le persone tentano di …

21 machine-learning cross-validation goodness-of-fit scikit-learn caret

2

PCA in numpy e sklearn produce risultati diversi

Sto fraintendendo qualcosa. Questo è il mio codice usando sklearn import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from sklearn import decomposition from sklearn import datasets from sklearn.preprocessing import StandardScaler pca = decomposition.PCA(n_components=3) x = np.array([ [0.387,4878, 5.42], [0.723,12104,5.25], [1,12756,5.52], [1.524,6787,3.94], ]) pca.fit_transform(x) Produzione: array([[ -4.25324997e+03, …

21 pca python scikit-learn

2

Come utilizzare le funzioni di validazione incrociata di scikit-learn su classificatori multi-etichetta

Sto testando diversi classificatori su un set di dati in cui ci sono 5 classi e ogni istanza può appartenere a una o più di queste classi, quindi sto usando i classificatori multi-etichetta di scikit-learn, in particolare sklearn.multiclass.OneVsRestClassifier. Ora voglio eseguire la validazione incrociata usando il sklearn.cross_validation.StratifiedKFold. Questo produce il …

20 cross-validation python multi-class scikit-learn multilabel

Domande taggate «scikit-learn»