Il miglior algoritmo pratico per la somiglianza delle frasi

Ho due frasi, S1 e S2, entrambe con un conteggio delle parole (di solito) inferiore a 15.

Quali sono gli algoritmi più utili e di successo (machine learning), che sono probabilmente facili da implementare (la rete neurale è ok, a meno che l'architettura non sia complicata come Google Inception ecc.).

Sto cercando un algoritmo che funzioni bene senza dedicare troppo tempo. Ci sono algoritmi che hai trovato di successo e facili da usare?

Questo può, ma non deve rientrare nella categoria del clustering. Il mio background proviene dall'apprendimento automatico, quindi eventuali suggerimenti sono ben accetti :)

Cosine Somiglianza con Vector Space potresti essere la risposta: http://blog.christianperone.com/2013/09/machine-learning-cosine-similarity-for-vector-space-models-part-iii/

Oppure potresti calcolare l'autovettore di ogni frase. Ma il problema è, che cos'è la somiglianza?

"Questo è un albero", "Questo non è un albero"

Se vuoi controllare il significato semantico della frase avrai bisogno di un set di dati di wordvector. Con il set di dati di wordvector sarai in grado di controllare la relazione tra le parole. Esempio: (Re - Uomo + donna = Regina)

Siraj Raval ha un buon notebook in pitone per la creazione di set di dati di wordvector: https://github.com/llSourcell/word_vectors_game_of_thrones-LIVE

Un approccio che potresti provare è la media dei vettori di parole generati da algoritmi di incorporamento di parole (word2vec, glove, ecc.). Questi algoritmi creano un vettore per ogni parola e la somiglianza del coseno tra loro rappresenta la somiglianza semantica tra le parole. Nel caso dei vettori medi tra le frasi. Un buon punto di partenza per saperne di più su questi metodi è questo documento: How Well Embeddings Capture Significato . Discute alcuni metodi di incorporamento delle frasi. Ti suggerisco anche di esaminare l' apprendimento senza supervisione degli incorporamenti di frasi usando le funzioni n-Gram composizionali che gli autori sostengono che il loro approccio ha battuto metodi all'avanguardia. Inoltre forniscono il codice e alcune istruzioni per l'uso in questo repository github .

bert-as-service ( https://github.com/hanxiao/bert-as-service#building-a-qa-semantic-search-engine-in-3-minutes ) offre proprio questa soluzione.

Per rispondere alla tua domanda, implementarlo da zero sarebbe piuttosto difficile poiché BERT non è un banale NN, ma con questa soluzione puoi semplicemente collegarlo al tuo algo che usa la somiglianza delle frasi.

Dovresti dare un'occhiata a https://github.com/seatgeek/fuzzywuzzy#usage . fuzzywuzzy è una libreria fantastica per la corrispondenza stringa / testo che fornisce un numero compreso tra 0 e 100 in base a due frasi simili. Usa Levenshtein Distance per calcolare le differenze tra le sequenze in un pacchetto semplice da usare. Inoltre, dai un'occhiata a questo post sul blog per una spiegazione dettagliata di come fuzzywuzzy fa il lavoro. Questo blog è anche scritto dall'autore fuzzywuzzy

Questo blog ha la soluzione per la somiglianza del breve testo. Usano principalmente il modello di rete neurale BERT per trovare somiglianze tra le frasi. https://medium.com/@vimald8959/sentence-categorisation-short-text-similarity-61bb88fae15e