Scienza dei dati machine-learning

1

Calcola la somiglianza del coseno in Apache Spark

Ho un DataFrame con IDF di determinate parole calcolate. Per esempio (10,[0,1,2,3,4,5],[0.413734499590671,0.4244680552337798,0.4761400657781007, 1.4004620708967006,0.37876590175292424,0.48374466516332]) .... and so on Ora fornisci una query Q, posso calcolare il TF-IDF di questa query. Come posso calcolare la somiglianza del coseno della query con tutti i documenti nel frame di dati (ci sono quasi milioni …

9 machine-learning nlp apache-spark cosine-distance

6

Python: gestione delle classi di squilibrio in Machine Learning python

Ho un set di dati per il quale sto cercando di prevedere le variabili target. Col1 Col2 Col3 Col4 Col5 1 2 23 11 1 2 22 12 14 1 22 11 43 38 3 14 22 25 19 3 12 42 11 14 1 22 11 43 38 2 …

9 machine-learning python data-mining dataset pandas

1

Comprendere l'apprendimento per rinforzo con la rete neurale (Q-learning)

Sto cercando di comprendere l'apprendimento per rinforzo e i processi decisionali markov (MDP) nel caso in cui una rete neurale venga utilizzata come approssimatore di funzioni. Sto avendo difficoltà con la relazione tra MDP in cui l'ambiente viene esplorato in modo probabilistico, come questo si ricollega ai parametri di apprendimento …

9 machine-learning neural-network q-learning

1

Devo prendere elementi casuali per la discesa gradiente mini-batch?

Quando si implementa la discesa gradiente mini-batch per reti neurali, è importante prendere elementi casuali in ciascun mini-batch? O è sufficiente mescolare gli elementi all'inizio dell'allenamento una volta? (Sono anche interessato a fonti che sicuramente dicono ciò che fanno.)

9 machine-learning neural-network

2

Passaggi di apprendimento automatico

Quale delle seguenti opzioni di passaggi è quella corretta quando si crea un modello predittivo? Opzione 1: Prima elimina i predittori più ovviamente cattivi e, se necessario, preelabora i rimanenti, quindi addestra vari modelli con convalida incrociata, scegli i pochi migliori, identifica i predittori migliori che ognuno ha utilizzato, quindi …

9 machine-learning predictive-modeling

1

Perché la ricostruzione negli encoder automatici utilizza la stessa funzione di attivazione dell'attivazione diretta e non l'inverso?

Supponiamo di avere un livello di input con n neuroni e il primo livello nascosto mmm neuroni, con tipicamente m<nm<nm < n. Quindi calcoli l'attivazioneajun'ja_j del jjj-th neurone nello strato nascosto di aj=f(∑i=1..nwi,jxi+bj)aj=f(∑i=1..nwi,jxi+bj)a_j = f\left(\sum\limits_{i=1..n} w_{i,j} x_i+b_j\right), dove fff è una funzione di attivazione come tanhtanh\tanh o sigmoidsigmoid\text{sigmoid}. Per addestrare …

9 machine-learning visualization deep-learning autoencoder

1

Come posso fare un semplice apprendimento automatico senza comportamenti hard-coding? [chiuso]

Chiuso. Questa domanda è fuori tema . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per lo scambio di stack di Data Science. Chiuso 6 anni fa . Sono sempre stato interessato all'apprendimento automatico, ma non riesco a capire una …

9 machine-learning

1

Classificazione degli approcci per affrontare le classi squilibrate

Qual è il modo migliore per classificare gli approcci che sono stati sviluppati per affrontare il problema della classe di squilibrio? Questo articolo li classifica in: Preelaborazione: include il sovracampionamento, il sottocampionamento e metodi ibridi, Apprendimento sensibile ai costi: comprende metodi diretti e meta-apprendimento che questi ultimi ulteriormente dividono in …

8 machine-learning classification class-imbalance

2

Perché la precisione finita è un problema nell'apprendimento automatico?

Puoi spiegare cos'è la precisione finita? Perché la precisione finita è un problema nell'apprendimento automatico?

8 machine-learning terminology definitions finite-precision

3

Esistono tecniche di apprendimento automatico per identificare punti su grafici / immagini?

Ho i dati per la posizione laterale di ciascun veicolo nel tempo e il numero di corsia, come mostrato in questi 3 grafici nell'immagine e i dati di esempio di seguito. > a Frame.ID xcoord Lane 1 452 27.39400 3 2 453 27.38331 3 3 454 27.42999 3 4 455 …

8 machine-learning r

2

Perché la regressione di Gradient Boosting prevede valori negativi quando non ci sono valori y negativi nel mio set di allenamento?

Mentre aumenta il numero di alberi in scikit imparare s' GradientBoostingRegressor, ho previsioni più negative, anche se non ci sono valori negativi nella mia formazione e testing set. Ho circa 10 funzioni, la maggior parte delle quali binarie. Alcuni dei parametri che stavo sintonizzando erano: il numero di alberi / …

8 machine-learning python algorithms scikit-learn kaggle

4

Perché esiste una differenza tra la previsione sul set di convalida e il set di test?

Ho un modello XGBoost che cerca di prevedere se una valuta salirà o scenderà nel prossimo periodo (5 min). Ho un set di dati dal 2004 al 2018. Ho diviso i dati in modo casuale in 95% di treno e 5% di convalida e l'accuratezza sul set di convalida è …

8 machine-learning xgboost

2

LightGBM risulta in modo diverso a seconda dell'ordine dei dati

Ho due set di dati A e B che sono esattamente gli stessi in termini di numero di colonne, nome delle colonne e valori. L'unica differenza è l'ordine di quelle colonne. Quindi treno il modello LightGBM su ciascuno dei due set di dati con i seguenti passaggi Dividi ogni set …

8 machine-learning classification

1

Come usare SMOTE nell'API Weka Java?

Sto cercando di costruire un modello di classificazione utilizzando l'API Java Weka. Il mio set di dati di allenamento presenta problemi di squilibrio di classe. Per questo motivo, voglio usare SMOTE per ridurre il problema di squilibrio di classe. Ma non so come usarlo nell'API Java Weka.

8 machine-learning java weka

1

Come posso calcolare l'AUC dalla curva ROC per la classificazione?

Basato su TPR e FPR, ho generato la curva ROC per il mio modello di classificazione binaria. Non so come calcolare il valore AUC. Sarei di grande aiuto per me se mi aiutassi a calcolare il valore AUC.

8 machine-learning classification

Domande taggate «machine-learning»