Scelta di un server di ricerca full-text autonomo: Sphinx o SOLR? [chiuso]

Sto cercando un server di ricerca full-text autonomo con le seguenti proprietà:

• Deve funzionare come server autonomo in grado di servire richieste di ricerca da più client
• Deve essere in grado di eseguire "indicizzazione in blocco" indicizzando il risultato di una query SQL: dire "SELECT id, text_to_index FROM documenti;"
• Deve essere un software gratuito e deve essere eseguito su Linux con MySQL come database
• Deve essere veloce (esclude la ricerca full-text interna di MySQL)

Le alternative che ho trovato che hanno queste proprietà sono:

• Solr (basato su Lucene)
• ElasticSearch (anche basato su Lucene)
• Sfinge

Le mie domande:

• Come si confrontano?
• Ho perso qualche alternativa?
• So che ogni caso d'uso è diverso, ma ci sono alcuni casi in cui avrei sicuramente non vuole usare un certo pacchetto?

Uso Solr con successo da quasi 2 anni ormai, e non ho mai usato Sphinx, quindi ovviamente sono di parte. Tuttavia, proverò a mantenerlo obiettivo citando i documenti o altre persone. Prenderò anche delle patch per la mia risposta :-)

Analogie:

• Sia Solr che Sphinx soddisfano tutte le vostre esigenze. Sono veloci e progettati per indicizzare e cercare in modo efficiente grandi quantità di dati.
• Entrambi hanno un lungo elenco di siti ad alto traffico che li utilizzano ( Solr , Sphinx )
• Entrambi offrono supporto commerciale. ( Solr , Sfinge )
• Entrambi offrono collegamenti API client per diverse piattaforme / lingue ( Sphinx , Solr )
• Entrambi possono essere distribuiti per aumentare la velocità e la capacità ( Sphinx , Solr )

Ecco alcune differenze:

• Solr, essendo un progetto Apache, ha ovviamente la licenza Apache2. Sphinx è GPLv2 . Ciò significa che se hai mai bisogno di incorporare o estendere (non solo "utilizzare") Sphinx in un'applicazione commerciale, dovrai acquistare una licenza commerciale ( logica )
• Solr è facilmente integrabile in applicazioni Java.
• Solr è costruito su Lucene, una tecnologia collaudata di oltre 8 anni con un'enorme base di utenti (questa è solo una piccola parte). Ogni volta che Lucene ottiene una nuova funzionalità o accelerazione, anche Solr la ottiene. Molti degli sviluppatori che si impegnano a Solr sono anche committenti di Lucene.
• Sphinx si integra più strettamente con gli RDBMS, in particolare MySQL.
• Solr può essere integrato con Hadoop per creare applicazioni distribuite
• Solr può essere integrato con Nutch per creare rapidamente un motore di ricerca web completo con il crawler .
• Solr è in grado di indicizzare formati proprietari come Microsoft Word, PDF, ecc . La Sfinge non può .
• Solr viene fornito con un correttore ortografico pronto all'uso .
• Solr viene fornito con supporto facciale pronto all'uso . La sfaccettatura in Sfinge richiede più lavoro .
• Sphinx non consente aggiornamenti dell'indice parziale per i dati sul campo .
• In Sphinx, tutti gli ID documento devono essere numeri interi diversi da zero diversi da zero . Solr non richiede nemmeno una chiave univoca per molte operazioni e le chiavi univoche possono essere numeri interi o stringhe.
• Solr supporta il collasso dei campi (attualmente solo come patch aggiuntiva) per evitare la duplicazione di risultati simili. Sphinx non sembra fornire alcuna funzionalità come questa.
• Mentre Sphinx è progettato per recuperare solo ID documento , in Solr è possibile ottenere direttamente interi documenti con praticamente qualsiasi tipo di dati, rendendolo più indipendente da qualsiasi archivio di dati esterno e risparmiando il roundtrip aggiuntivo.
• Solr, tranne quando utilizzato incorporato, viene eseguito in un contenitore Web Java come Tomcat o Jetty, che richiede ulteriore configurazione e ottimizzazione specifiche (oppure è possibile utilizzare il Jetty incluso e avviarlo con java -jar start.jar). Sphinx non ha alcuna configurazione aggiuntiva.

Domande correlate:

• Ricerca di testo completo con rotaie
• Confronto del motore di ricerca full-text - Lucene, Sphinx, Postgresql, MySQL?

A meno che non sia necessario estendere la funzionalità di ricerca in modo proprietario, Sphinx è la soluzione migliore.

Vantaggi della Sfinge:

1. Lo sviluppo e l'installazione sono più veloci
2. Aggregazione molto migliore (e più veloce). Questa è stata la caratteristica killer per noi.
3. Non XML. Questo è ciò che alla fine ha escluso Solr per noi. Abbiamo dovuto restituire set di risultati piuttosto grandi (pensate a centinaia di risultati) e poi aggregarli da soli poiché mancava l'aggregazione Solr. La quantità di tempo per serializzare da e verso XML ha semplicemente annullato le prestazioni. Per piccoli insiemi di risultati, però, andava perfettamente bene.
4. La migliore documentazione che ho visto in un'app open source

Vantaggi Solr:

1. Può essere esteso.
2. Puoi colpirlo direttamente da un'app Web, ad esempio, puoi fare in modo che ricerche simili al completamento automatico colpiscano il server Solr direttamente tramite AJAX.

Nota: ci sono molti utenti con la stessa domanda in mente.

Quindi, per rispondere al punto:

Quale e perché?

• Usa Solr se intendi utilizzarlo nella tua app web (motore di ricerca del sito di esempio). Si rivelerà sicuramente eccezionale, grazie alla sua API. Avrai sicuramente bisogno di quel potere per un'app web.

• Usa Sphinx se vuoi cercare tra tonnellate di documenti / file molto velocemente. Si indicizza anche molto velocemente. Consiglierei di non usarlo in un'app che coinvolge JSON o l'analisi di XML per ottenere i risultati della ricerca. Usalo per ricerche dB dirette. Funziona benissimo su MySQL.

alternative

Sebbene questi siano i giganti, ce ne sono molti di più. Inoltre, ci sono quelli che li usano per alimentare i loro framework personalizzati. Quindi, direi che davvero non te ne sei perso nessuno. Sebbene esista una ricerca elastica con una buona base di utenti.

Uso Sphinx da quasi un anno ed è stato fantastico. Posso indicizzare 1,5 milioni di documenti in circa un minuto sul mio MacBook e ancora più velocemente sul server. Sto anche usando Sphinx per limitare le ricerche a luoghi entro determinate latitudini e longitudini, ed è molto veloce. Inoltre, il modo in cui i risultati sono classificati è molto modificabile. Facile da installare e configurare, se leggi un tutorial o due. Quasi lo stato 1.0, ma i loro candidati al rilascio sono stati solidi.

Lucene / Solr sembra essere più in primo piano e con anni di attività più lunghi e una comunità di utenti molto più forte. imho se riesci a superare i problemi di installazione iniziale come alcuni sembrano aver affrontato (non noi), direi che Lucene / Solr è la soluzione migliore.