Prestazioni del filtro volgarità in Java

Ho l'obbligo di filtrare le volgarità dagli invii degli utenti in un'applicazione Web basata su Java. Il cliente è a conoscenza sia del Scunthorpe problema e la Clbuttic problema e hanno accettato le conseguenze. Per favore, non desidero un dibattito sul merito della mancanza della censura.

Esistono due bit di dati:

1. L'invio dell'utente, che può contenere potenzialmente 500 parole o giù di lì;
2. Una tabella di database a colonna singola contenente parole non consentite. Ci possono essere molte migliaia di record in questa tabella.

La soluzione attuale mi sembra sbagliata:

1. L'intera tabella viene caricata in una stringa statica [] all'avvio in un Singleton (quindi risiede in memoria).
2. Per ogni invio utente eseguiamo il ciclo attraverso l'array e facciamo un .indexOf () per vedere se una qualsiasi parola nella stringa [] appare nell'invio.
3. Se appare, sostituiamo con% $ # @% - caratteri di stile. Questo viene fatto tokenizzando l'invio dell'utente, eseguendo il ciclo dell'intero invio dell'utente come token (di nuovo) e sostituendo ogni istanza della parola trovata.

Potrebbe esserci brillantezza in questa soluzione, ma sono scettico. E dopo averlo guardato per un po 'non riesco a trovarlo.

Le domande sono: qual è una soluzione che darà buone prestazioni e si spera sia ragionevolmente ragionevole per i futuri sviluppatori da mantenere dopo che sono stato licenziato per non riuscire a filtrare qualche parola oscura di cui non ho mai sentito parlare?

L'unico modo per fare un filtro di parole in modo intelligente è usare un sistema di corrispondenza fonica. Ho scritto un filtro volgare molto efficace per un popolare gioco online multigiocatore di massa molto popolare per ragazzi e adolescenti qualche anno fa in Java.

Si basava su un algoritmo Double MetaPhone altamente modificato che è stato ottimizzato per essere più accurato invece del valore predefinito che deve corrispondere al maggior numero di cose possibile. È stato estremamente efficace poiché ha raccolto errori di ortografia e ortografici proprio come le parole reali. Ho aggiunto anche l33tparlare e txtparlare con l'algoritmo MetaPhone, rendendolo più un algoritmo Triple / Quad Metaphone.

Presenta un pre-processore che comprime le lettere correnti e rileva cose come i bambini che mettono le cose w o r d scomprimendo in modo intelligente le lettere insieme ed eliminando i duplicati in esecuzione wwoorrddss, era molto specializzato solo in inglese.

È stato abbastanza veloce 8 anni fa per essere utilizzato in un flusso di sistema di chat in tempo reale senza alcuna latenza evidente con decine di migliaia di utenti su un sistema CPU single core.

Avevamo un elenco di parole codificate da Metaphone in una tabella nel database, ed era caricata in una mappa statica sorprendentemente piccola e non abbiamo mai dovuto fare nulla di speciale per accedere all'elenco di parole vietate, sono stato in grado di aggiungere rilevamento delle frasi usando le stesse tecniche quasi gratis.

Ovviamente avevo un registro di tutte le chat di migliaia di bambini che cercavano di rompere il sistema in tempo reale, quindi avevo una serie piuttosto completa di dati su cui lavorare. Il modo in cui ho effettuato la registrazione è stato quando qualcuno ha attivato il filtro con un positivo, ho registrato i successivi messaggi di chat che non hanno attivato il filtro da loro, in questo modo se avessero trovato un modo per aggirare una determinata parola o frase, avrei potuto adatta il mio sistema e prendilo. Ero abbastanza a prova di proiettile dopo solo un paio di settimane.

Se vuoi fare la corrispondenza in modo efficiente, l' algoritmo Aho Corasick è un'opzione abbastanza buona (sono sicuro che puoi trovare un'implementazione Java fluttuante).

Ovviamente probabilmente vorrai pre-elaborare l'invio per sostituire eventuali irregolarità ortografiche ('$' -> 's', '@' -> 'a', '| <' -> 'k', ecc.)

Invece di caricare in una stringa statica [], utilizza HashMap [] o qualche altro tipo di albero binario (se vuoi migliorare la ricerca) rendendo la stringa la tua chiave nell'hash. Dividi la stringa per spazi e rimuovi la punteggiatura. Quindi è possibile eseguire una query su HashMap per ogni parola nella suddivisione della stringa; se l'hashmap ritorna con un valore nullo allora sai che hai una parolaccia.

La cosa che non riesce qui è il problema di Clbuttic in cui qualcuno aggiunge caratteri casuali attorno alla parolaccia ex. bhassda

L'uso di un sistema fonico non è l'unica soluzione in alcun modo, ma potrebbe essere la più semplice poiché ci sono molte librerie open source che fanno quel genere di cose.

La parte difficile sarà sempre la parte corrispondente di qualsiasi algoritmo e sembra che la tua partita sia piuttosto lenta e ingenua. Non puoi presumere che indexOf corrisponderà correttamente senza una qualche forma di controllo ausiliario.

Inoltre, finirai per ripetere l'intero ciclo N volte, dove N è il numero di parole nella tua lista nera. I suggerimenti per usare Set o HashMap miglioreranno sicuramente le cose.

Nella maggior parte dei casi, un algoritmo basato sullo stato lineare è il migliore e il più veloce. Ho scritto la soluzione per Clean Speak e utilizza questo tipo di algoritmo con un sistema di abbinamento fonico pre-process. Questa è stata l'unica soluzione che non si è complicata quando la volgarità è incorporata (se foo è volgarità, l'incorporamento è foosucker) ed è stato in grado di mantenere un alto livello di prestazioni. Si adatta anche bene per altre lingue senza implementazioni di nuovi codici.

Infine, la pre-elaborazione di qualsiasi forma è generalmente qualcosa da evitare. Nella maggior parte dei casi puoi fare la stessa cosa in modo lineare mentre gestisci ciascuno dei caratteri nella stringa.

Naturalmente, suggerirei di cercare altre soluzioni a lungo termine perché nella maggior parte delle applicazioni la gestione dei contenuti generati dagli utenti è più complessa del semplice filtro volgarità. Spesso vuoi anche filtrare informazioni personali come e-mail e numeri di previdenza sociale e talvolta cose come gli URL. Inoltre, abbiamo riscontrato che la maggior parte delle applicazioni richiede una qualche forma di sistema di moderazione e ricerca di contenuti. Questi aumentano considerevolmente la complessità.

Quello che vuoi fare in un caso come questo è determinare quale delle due liste di parole è quella più piccola. Supponiamo che la tua lista "verboten" contenga 2000 parole e che l'invio massimo dell'utente sia di 500 parole. In tal caso, scorrerai l'elenco delle parole nella presentazione dell'utente e le cercherai una per una nell'elenco delle parole proibite e viceversa.

L'altra modifica che vorrei apportare è che non conservi l'elenco di parole proibite in una stringa [] - se cerchi nell'array hai una ricerca O (n) per parola nell'invio dell'utente. È piuttosto brutto. Proverei a mettere la struttura di dati in cui stai cercando in una sorta di contenitore associativo o struttura ad albero che abbia prestazioni di ricerca migliori (accedi a n invece di n). La sfida qui sarebbe che se metti l'invio dell'utente in questo contenitore, dovrai tenere traccia della posizione della parola in modo da poter ricostruire l'input o aggiornare la stringa di input se hai un hit di ricerca.