Scienza dei dati machine-learning

6

Nell'apprendimento supervisionato, perché è male avere caratteristiche correlate?

Ho letto da qualche parte che se abbiamo funzionalità troppo correlate, dobbiamo rimuoverne una, poiché ciò potrebbe peggiorare il modello. È chiaro che funzionalità correlate significano che portano le stesse informazioni, quindi è logico rimuoverne una. Ma non riesco a capire perché questo possa peggiorare il modello.

35 machine-learning correlation

6

Spiegazione della perdita di entropia incrociata

Supponiamo che io costruisca un NN per la classificazione. L'ultimo livello è un livello denso con attivazione softmax. Ho cinque diverse classi da classificare. Supponiamo per un singolo esempio di allenamento, true labelè [1 0 0 0 0]mentre le previsioni sono [0.1 0.5 0.1 0.1 0.2]. Come calcolare la perdita …

35 machine-learning deep-learning

1

La differenza tra `Dense` e` TimeDistributedDense` di `Keras`

Sono ancora confuso sulla differenza tra Densee TimeDistributedDensedi Kerasanche se ci sono già alcune domande simili poste qui e qui . Le persone discutono molto, ma nessuna conclusione condivisa. E anche se, qui , @fchollet ha dichiarato che: TimeDistributedDenseapplica una stessa operazione Dense(completamente connessa) a ogni timestep di un tensore …

34 machine-learning neural-network keras

5

Quali sono alcuni modi standard per calcolare la distanza tra i documenti?

Quando dico "documento", ho in mente pagine web come articoli di Wikipedia e notizie. Preferisco le risposte fornendo metriche della distanza lessicale vaniglia o metriche della distanza semantica all'avanguardia, con una preferenza più forte per quest'ultima.

34 machine-learning data-mining nlp text-mining similarity

5

Deep Learning vs boosting gradiente: quando usare cosa?

Ho un grosso problema con un grande set di dati (ad esempio 50 milioni di righe e 200 colonne). Il set di dati è costituito da circa 100 colonne numeriche e 100 colonne categoriche e una colonna di risposta che rappresenta un problema di classe binaria. La cardinalità di ciascuna …

30 machine-learning classification deep-learning

3

Nel classificatore softmax, perché usare la funzione exp per eseguire la normalizzazione?

Perché usare softmax in contrapposizione alla normalizzazione standard? Nell'area dei commenti della risposta principale a questa domanda, @Kilian Batzner ha sollevato 2 domande che mi confondono molto. Sembra che nessuno dia una spiegazione tranne i vantaggi numerici. Ottengo i motivi per usare la perdita di entropia incrociata, ma come si …

30 machine-learning deep-learning

5

Cos'è la funzione Q e qual è la funzione V nell'apprendimento per rinforzo?

Mi sembra che la funzione VVV possa essere facilmente espressa dalla funzione QQQ e quindi la funzione VVV sembra superflua. Tuttavia, sono nuovo nell'apprendimento del rinforzo, quindi credo di aver sbagliato qualcosa. definizioni L'apprendimento Q e V sono nel contesto dei processi decisionali di Markov . Un MDP è una …

30 machine-learning reinforcement-learning

7

Perché i dati devono essere mescolati per le attività di apprendimento automatico

Nelle attività di apprendimento automatico è comune mescolare i dati e normalizzarli. Lo scopo della normalizzazione è chiaro (per avere lo stesso intervallo di valori di funzionalità). Ma, dopo aver lottato molto, non ho trovato alcun motivo valido per mescolare i dati. Ho letto questo post qui discutendo quando dobbiamo …

30 machine-learning neural-network deep-learning

2

Qual è la verità di terra

Nel contesto di Machine Learning , ho visto molto spesso il termine Ground Truth . Ho cercato molto e ho trovato la seguente definizione in Wikipedia : Nell'apprendimento automatico, il termine "verità di base" si riferisce all'accuratezza della classificazione del set di addestramento per le tecniche di apprendimento supervisionato. Questo …

30 machine-learning neural-network deep-learning

1

Perché xgboost è molto più veloce di sklearn GradientBoostingClassifier?

Sto cercando di formare un modello di aumento gradiente su 50.000 esempi con 100 funzioni numeriche. XGBClassifiergestisce 500 alberi entro 43 secondi sulla mia macchina, mentre GradientBoostingClassifiergestisce solo 10 alberi (!) in 1 minuto e 2 secondi :( Non mi sono preoccupato di provare a far crescere 500 alberi perché …

29 scikit-learn xgboost gbm data-mining classification data-cleaning machine-learning reinforcement-learning data-mining bigdata dataset nlp language-model stanford-nlp machine-learning neural-network deep-learning randomized-algorithms machine-learning beginner career xgboost loss-function neural-network software-recommendation naive-bayes-classifier classification scikit-learn feature-selection r random-forest cross-validation data-mining python scikit-learn random-forest churn python clustering k-means machine-learning nlp sentiment-analysis machine-learning programming python scikit-learn nltk gensim visualization data csv neural-network deep-learning descriptive-statistics machine-learning supervised-learning text-mining orange data parameter-estimation python pandas scraping r clustering k-means unsupervised-learning

4

Guida rapida alla formazione di set di dati altamente squilibrati

Ho un problema di classificazione con circa 1000 campioni positivi e 10000 negativi nel set di allenamento. Quindi questo set di dati è abbastanza sbilanciato. La semplice foresta casuale sta solo cercando di contrassegnare tutti i campioni di test come una classe di maggioranza. Ecco alcune buone risposte sul sottocampionamento …

29 machine-learning classification dataset unbalanced-classes

4

Quando utilizzare Random Forest su SVM e viceversa?

Quando si dovrebbe usare Random Forestoltre SVMe viceversa? Lo capisco cross-validatione il confronto tra modelli è un aspetto importante nella scelta di un modello, ma qui vorrei saperne di più sulle regole empiriche e sull'euristica dei due metodi. Qualcuno può spiegare le sottigliezze, i punti di forza e di debolezza …

28 machine-learning classification random-forest svm

4

Quali algoritmi dovrei usare per eseguire la classificazione dei lavori in base ai dati di ripresa?

Nota che sto facendo tutto in R. Il problema si presenta come segue: Fondamentalmente, ho un elenco di curriculum (CV). Alcuni candidati avranno prima esperienza lavorativa e altri no. L'obiettivo qui è: sulla base del testo dei loro CV, voglio classificarli in diversi settori lavorativi. Sono particolare in quei casi, …

28 machine-learning classification nlp text-mining

4

Un modello dovrebbe essere riqualificato se sono disponibili nuove osservazioni?

Quindi, non sono stato in grado di trovare alcuna letteratura su questo argomento, ma sembra qualcosa che valga la pena di pensare: Quali sono le migliori pratiche nella formazione e ottimizzazione dei modelli se sono disponibili nuove osservazioni? Esiste un modo per determinare il periodo / la frequenza della riqualificazione …

28 machine-learning predictive-modeling optimization training

6

Qual è la differenza tra iperparametri del modello e parametri del modello?

Ho notato che termini come iperparametro del modello e parametro del modello sono stati usati in modo intercambiabile sul web senza un chiarimento preventivo. Penso che questo sia errato e necessita di spiegazioni. Prendi in considerazione un modello di apprendimento automatico, un classificatore o riconoscitore di immagini basato su SVM …

28 machine-learning parameter hyperparameter language-model

Domande taggate «machine-learning»