Vorrei scoprire come funziona la ricerca di Lucene così velocemente. Non riesco a trovare alcun documento utile sul Web. Se hai qualcosa (a parte il codice sorgente di Lucene) da leggere, fammelo sapere.
Una query di ricerca di testo che utilizza la ricerca di testo mysql5 con indice richiede circa 18 minuti nel mio caso. Una ricerca lucene per la stessa query richiede meno di un secondo.
Risposte:
Lucene è un indice full-text invertito. Ciò significa che prende tutti i documenti, li divide in parole e quindi crea un indice per ogni parola . Poiché l'indice è una corrispondenza di stringa esatta, non ordinata, può essere estremamente veloce. Ipoteticamente, un indice SQL non ordinato su un varcharcampo potrebbe essere altrettanto veloce, e in effetti penso che scoprirai che i grandi database possono eseguire una semplice query di uguaglianza di stringhe molto rapidamente in quel caso.
Lucene non deve ottimizzare per l'elaborazione delle transazioni. Quando si aggiunge un documento, non è necessario assicurarsi che le query lo vedano immediatamente . E non è necessario ottimizzare per gli aggiornamenti ai documenti esistenti.
Tuttavia, alla fine della giornata, se vuoi davvero saperlo, devi leggere la fonte. Entrambe le cose a cui fai riferimento sono open source, dopotutto.
Lucene crea un grande indice. L'indice contiene l'ID parola, il numero di documenti in cui è presente la parola e la posizione della parola in quei documenti. Quindi, quando si esegue una query su una singola parola, viene eseguita la ricerca nell'indice (O (1) complessità temporale). Quindi il risultato viene classificato utilizzando diversi algoritmi. Per le query di più parole basta prendere l'intersezione del set di file in cui sono presenti le parole. Quindi Lucene è molto molto veloce.
Per maggiori informazioni leggi questo articolo degli sviluppatori di Google: http://infolab.stanford.edu/~backrub/google.html
In una parola: indicizzazione.
Lucene crea un indice del tuo documento che gli permette di cercare molto più velocemente.
È la stessa differenza tra una struttura dati della lista O (N) e una struttura dati della tabella hash O (1). L'elenco deve scorrere l'intera raccolta per trovare ciò che desideri. La tabella hash ha un indice che gli consente di capire esattamente dove si trova l'elemento desiderato e di recuperarlo semplicemente.
Aggiornare:
Non sono sicuro di cosa intendi per "le ricerche nell'indice Lucene sono molto più veloci delle ricerche nell'indice mysql".
La mia ipotesi è che tu stia usando MySQL "WHERE document LIKE '% phrase%'" per cercare un documento. Se questo è vero, MySQL deve eseguire una scansione della tabella su ogni riga, che sarà O (N).
Lucene può analizzare il documento in token, raggrupparli in n-grammi secondo la tua direzione e calcolare gli indici per ciascuno di essi. È O (1) trovare una parola in un documento Lucene indicizzato.
Lucene lavora con la frequenza del termine e la frequenza del documento inverso . Crea un indice che mappa ogni parola con il documento e il suo conteggio della frequenza che non è altro che un indice inverso sul documento.
Esempio :
File 1: la memoria ad accesso casuale è la memoria principale.
File 2: i dischi rigidi sono la memoria secondaria.
Lucene crea un indice inverso qualcosa di simile
File 1:
Termine: casuale
Frequenza: 1
Posizione: 0
Termine: memoria
Frequenza: 2
Posizione: 3
Posizione: 6
Quindi è in grado di cercare e recuperare rapidamente il contenuto cercato. Quando ci sono troppe corrispondenze per la query di ricerca, restituisce il risultato in base al peso. Considera la query di ricerca "Memoria principale" , cerca tutte e 4 le parole individualmente e il risultato sarebbe,
Principale
File 1: Frequenza - 1
Memoria
File 1: Frequenza - 2
File 2: Frequenza - 1
Il risultato sarebbe File1 seguito da File2 . Per smettere di lasciarsi trasportare dai pesi sulle parole più comuni come "e", "o", "il" considera la frequenza del documento inversa (cioè "diminuisce il peso della parola che è più popolare nel set di documenti).