Attualmente sto costruendo un piccolo motore di ricerca interno basato su Apache Lucene. Il suo scopo è semplice: basato su alcune parole chiave, suggerirà alcuni articoli scritti internamente all'interno della nostra azienda. Sto usando un punteggio TF-IDF abbastanza standard come metrica di base e ho costruito il mio meccanismo di punteggio su di esso. Tutti questi sembrano funzionare in modo eccellente ad eccezione di alcuni casi angolari in cui la classifica sembra incasinata.

Quindi quello che sto pensando di fare è aggiungere un piccolo link Rilevante / Non pertinente alla pagina dei risultati della ricerca in modo che gli utenti possano fare clic su uno di quelli a seconda della loro percezione del fatto che quel risultato debba essere incluso in primo luogo.

La mia idea

1. Tratta questi Rilevanti / Non Rilevanti come etichette e crea un dato di formazione.
2. Usa questi dati per addestrare un classificatore (come SVM)
3. Incorporare questo modello nel motore di ricerca, ovvero ogni nuovo risultato passerà attraverso il classificatore e gli verrà assegnata un'etichetta sulla pertinenza o meno.

Questo approccio mi sembra intuitivo, ma non sono sicuro che funzionerà in pratica. Ho due domande specifiche:

1. Quali funzioni devo estrarre?
2. Esiste un modo migliore per integrare il componente di apprendimento automatico nel motore di ricerca? Il mio obiettivo finale è "apprendere" la funzione di classifica basata sia sulla logica aziendale sia sul feedback degli utenti.

(1) Quali funzioni devo estrarre?

Innanzitutto, renditi conto che non stai classificando i documenti. Stai classificando coppie (documenti, query), quindi dovresti estrarre funzionalità che esprimano la loro corrispondenza.

L'approccio standard nell'apprendimento del posizionamento è quello di eseguire la query su varie configurazioni dei motori di ricerca (ad es. Tf-idf, BM-25, ecc.) E quindi formare un modello sui punteggi di somiglianza, ma per un piccolo SE specifico del dominio, potresti avere funzionalità come

• Per ogni termine, un valore booleano che indica se il termine è presente sia nella query che nel documento. O forse non un valore booleano, ma i pesi tf-idf di quei termini di query che si verificano effettivamente nel documento.
• Varie metriche di sovrapposizione come Jaccard o Tanimoto.

(2) Esiste un modo migliore per integrare il componente di apprendimento automatico nel motore di ricerca? Il mio obiettivo finale è "apprendere" la funzione di classifica basata sia sulla logica aziendale sia sul feedback degli utenti.

Questa è una domanda molto ampia e la risposta dipende da quanti sforzi vuoi fare. Il primo miglioramento che ti viene in mente è che non dovresti usare i giudizi di rilevanza binaria del classificatore, ma la sua funzione di decisione con valore reale, in modo che tu possa effettivamente fare una classifica invece di filtrare. Per un SVM, la funzione decisionale è la distanza firmata dall'iperpiano. Buoni pacchetti di apprendimento automatico hanno un'interfaccia per ottenerne il valore.

Oltre a ciò, guarda l'apprendimento a coppie e listwise per classificare; quello che stai suggerendo è il cosiddetto approccio pointwise. IIRC, a coppie funziona molto meglio nella pratica. Il motivo è che con una classificazione a coppie, hai bisogno di molti meno clic: invece di avere gli utenti che etichettano i documenti come pertinenti / irrilevanti, dai loro solo il pulsante "rilevante". Quindi impari un classificatore binario su triple (document1, document2, query) che dice se document1 è più rilevante per la query rispetto a document2 o viceversa. Quando un utente etichetta, per esempio, il documento 4 nella classifica come pertinente, che ti dà sei esempi da cui imparare:

• document4> document3
• document4> document2
• document4> document1
• document1 <document4
• document2 <document4
• document3 <document4

così ottieni i negativi gratuitamente.

(Questi sono solo suggerimenti, non ho provato nulla di tutto questo. Mi è capitato di aver lavorato in un gruppo di ricerca in cui le persone hanno studiato l'apprendimento per classificare. Ho fatto una presentazione del documento di qualcun altro per un gruppo di lettura una volta, forse il le diapositive possono essere di aiuto.)