Statistiche e Big Data classification

1

Ho usato il tuning del modello caret, ma poi rieseguendo il modello usando il gbmpacchetto. Comprendo che il caretpacchetto utilizza gbme l'output dovrebbe essere lo stesso. Tuttavia, solo un rapido test eseguito utilizzando data(iris)mostra una discrepanza nel modello di circa il 5% utilizzando RMSE e R ^ 2 come metrica …

13 r caret gbm matrix linear-algebra logistic modeling logit ordered-logit r confidence-interval survival population weibull classification separation hypothesis-testing correlation statistical-significance p-value python r data-visualization r regression multiple-regression chi-squared multivariate-analysis distributions random-variable experiment-design distributions poisson-regression residuals excel time-series garch var survival modeling cox-model interaction r pca normality-assumption

3

Limitate macchine Boltzmann per la regressione?

Sto seguendo la domanda che avevo posto in precedenza sugli RBM . Vedo molta letteratura che li descrive, ma nessuno che in realtà parla di regressione (nemmeno di classificazione con dati etichettati). Ho la sensazione che sia usato solo per dati senza etichetta. Ci sono risorse per gestire la regressione? …

13 regression machine-learning classification neural-networks

2

Quando è adatta la regressione logistica?

Attualmente sto insegnando a me stesso come fare la classificazione, e in particolare sto esaminando tre metodi: supportare macchine vettoriali, reti neurali e regressione logistica. Quello che sto cercando di capire è il motivo per cui la regressione logistica avrebbe mai funzionato meglio degli altri due. Dalla mia comprensione della …

12 regression machine-learning logistic classification regression-strategies

2

Perché n-gram viene utilizzato nell'identificazione della lingua del testo anziché nelle parole?

In due famose librerie di identificazione linguistica, Compact Language Detector 2 per C ++ e rivelatore di lingua per Java, entrambi utilizzavano n-grammi (basati sui caratteri) per estrarre funzionalità di testo. Perché un bag-of-word (parola singola / dizionario) non viene utilizzato e qual è il vantaggio e lo svantaggio di …

12 machine-learning classification text-mining natural-language

2

Come calcolare i pesi del criterio Fisher?

Sto studiando il riconoscimento di modelli e l'apprendimento automatico e ho incontrato la seguente domanda. Considera un problema di classificazione di due classi con uguale probabilità di classe precedenteP(D1)=P(D2)=12P(D1)=P(D2)=12P(D_1)=P(D_2)= \frac{1}{2} e la distribuzione delle istanze in ciascuna classe data da p(x|D1)=N([00],[2001]),p(x|D1)=N([00],[2001]), p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} …

12 machine-learning self-study classification discriminant-analysis

5

Come eseguire l'imputazione dei valori in un numero molto elevato di punti dati?

Ho un set di dati molto grande e mancano circa il 5% di valori casuali. Queste variabili sono correlate tra loro. Il seguente set di dati R è solo un esempio di giocattolo con dati correlati fittizi. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

1

Come posso addestrare gli HMM per la classificazione?

Quindi capisco che quando si addestrano gli HMM per la classificazione l'approccio standard è: Separare i set di dati nei set di dati per ogni classe Addestra un HMM per classe Sul set di test confrontare la probabilità di ciascun modello di classificare ciascuna finestra Ma come posso addestrare l'HMM …

12 classification hidden-markov-model

3

Probabilità di Naive Bayes: devo raddoppiare le parole?

Sto prototipando la mia borsa Naive Bayes o un modello a parole, e avevo una domanda sul calcolo delle probabilità delle funzionalità. Diciamo che ho due lezioni, userò solo spam e non spam poiché è quello che usano tutti. E prendiamo la parola "viagra" come esempio. Ho 10 e-mail nel …

12 classification conditional-probability naive-bayes

2

Perché l'aumento del numero di funzioni riduce le prestazioni?

Sto cercando di ottenere un'intuizione sul perché aumentare il numero di funzionalità potrebbe ridurre le prestazioni. Attualmente sto usando un classificatore LDA che offre prestazioni migliori bivariatamente tra alcune funzionalità, ma peggio quando si guardano più funzionalità. La mia precisione di classificazione viene eseguita utilizzando un xval stratificato di 10 …

12 classification feature-selection

1

La relazione tra il numero di vettori di supporto e il numero di funzionalità

Ho eseguito un SVM su un determinato set di dati e ho formulato la seguente osservazione: Se modifico il numero di funzionalità per la creazione del classificatore, anche il numero dei vettori di supporto risultanti verrà modificato. Vorrei sapere come spiegare questo tipo di scenario.

12 machine-learning classification svm kernel-trick

2

PCA e foreste casuali

Per una recente competizione di Kaggle, ho definito (manualmente) 10 funzioni aggiuntive per il mio set di allenamento, che sarebbero state utilizzate per addestrare un classificatore di foreste casuale. Ho deciso di eseguire PCA sul set di dati con le nuove funzionalità, per vedere come si confrontavano tra loro. Ho …

12 classification pca random-forest

2

Analisi discriminante lineare e regola di Bayes: classificazione

Qual è la relazione tra analisi discriminante lineare e regola di Bayes? Comprendo che LDA viene utilizzato nella classificazione cercando di ridurre al minimo il rapporto tra la varianza all'interno del gruppo e tra la varianza del gruppo, ma non so come la regola di Bayes utilizzi in essa.

12 classification discriminant-analysis bayes

1

Un set di addestramento scarso influisce negativamente su un SVM?

Sto cercando di classificare i messaggi in diverse categorie usando un SVM. Ho compilato un elenco di parole / simboli desiderabili dal set di addestramento. Per ogni vettore, che rappresenta un messaggio, ho impostato la riga corrispondente su 1se la parola è presente: "corpus" è: [mary, little, lamb, star, twinkle] …

12 classification svm sparse

2

Applicazione dell'apprendimento automatico per il filtro DDoS

Nel corso di Machine Learning di Stanford, Andrew Ng ha menzionato l'applicazione dell'ML in IT. Qualche tempo dopo, quando ho ottenuto DDoS di dimensioni moderate (circa 20k bot) sul nostro sito, ho deciso di lottare contro di esso usando un semplice classificatore di reti neurali. Ho scritto questo script Python …

12 classification neural-networks unsupervised-learning

2

Prevedere più obiettivi o classi?

Supponiamo che stia costruendo un modello predittivo in cui sto cercando di prevedere eventi multipli (ad esempio, sia il lancio di un dado che il lancio di una moneta). La maggior parte degli algoritmi che conosco funzionano con un solo obiettivo, quindi mi chiedo se esiste un approccio standard a …

12 machine-learning classification predictive-models multi-class

Domande taggate «classification»