Scienza dei dati cosine-distance

4

Alternative a TF-IDF e Cosine Somiglianza quando si confrontano documenti di formati diversi

Ho lavorato su un piccolo progetto personale che prende le competenze lavorative di un utente e suggerisce la carriera più ideale per loro sulla base di tali competenze. Uso un database di elenchi di lavoro per raggiungere questo obiettivo. Al momento, il codice funziona come segue: 1) Elaborare il testo …

12 nlp text-mining similarity cosine-distance

1

Calcola la somiglianza del coseno in Apache Spark

Ho un DataFrame con IDF di determinate parole calcolate. Per esempio (10,[0,1,2,3,4,5],[0.413734499590671,0.4244680552337798,0.4761400657781007, 1.4004620708967006,0.37876590175292424,0.48374466516332]) .... and so on Ora fornisci una query Q, posso calcolare il TF-IDF di questa query. Come posso calcolare la somiglianza del coseno della query con tutti i documenti nel frame di dati (ci sono quasi milioni …

9 machine-learning nlp apache-spark cosine-distance

2

Quale dovrebbe essere il valore di un campo non valutato quando si trova la somiglianza del coseno

Sto lavorando a un sistema di raccomandazione di libri molto semplice. Voglio sapere cosa fare con i campi che non sono classificati dall'utente quando trovano la somiglianza del coseno, dovremmo ignorarli e calcolare solo con i campi classificati o dovremmo contrassegnarli come 0. Il libro che sto seguendo dice di …

8 correlation recommender-system cosine-distance

Domande taggate «cosine-distance»