Come si implementa un buon filtro volgarità?

Molti di noi devono occuparsi dell'input dell'utente, delle query di ricerca e delle situazioni in cui il testo di input può potenzialmente contenere volgarità o linguaggio indesiderato. Spesso questo deve essere filtrato.

Dove si può trovare un buon elenco di parolacce in varie lingue e dialetti?

Sono disponibili API per le fonti che contengono buoni elenchi? O forse un'API che dice semplicemente "sì, questo è pulito" o "no, questo è sporco" con alcuni parametri?

Quali sono alcuni buoni metodi per catturare persone che cercano di ingannare il sistema, come $$, azz o a55?

Punti bonus se offri soluzioni per PHP. :)

Modifica: risposta a risposte che dicono semplicemente evitare il problema programmatico:

Penso che ci sia un posto per questo tipo di filtro quando, ad esempio, un utente può utilizzare la ricerca di immagini pubbliche per trovare immagini che vengono aggiunte a un pool di comunità sensibili. Se riescono a cercare "pene", probabilmente otterranno molte foto di, sì. Se non vogliamo immagini di questo, quindi impedire la parola come termine di ricerca è un buon guardiano, anche se, certamente, non è un metodo infallibile. Ottenere la lista di parole in primo luogo è la vera domanda.

Quindi mi riferisco davvero a un modo per capire che un singolo token è sporco o no e quindi semplicemente non lo autorizzo. Non mi preoccuperei di prevenire un sentimento come il riferimento esilarante della "giraffa dal collo lungo". Niente che tu possa fare lì. :)

Filtri di oscenità: cattiva idea o cattiva idea cattiva interazione?

Inoltre, non si può dimenticare The Untold History of Toontown's SpeedChat , dove anche usando una "whitelist di parole sicure" ha portato una 14enne a aggirarlo rapidamente con: "Voglio attaccare la mia giraffa dal collo lungo sul tuo soffice coniglietto bianco ".

In conclusione: in definitiva, per qualsiasi sistema implementato, non vi è assolutamente alcun sostituto per la revisione umana (sia peer che altro). Sentiti libero di implementare uno strumento rudimentale per sbarazzarti del drive-by, ma per il troll determinato, devi assolutamente avere un approccio non basato su algoritmo.

Un sistema che rimuove l'anonimato e introduce la responsabilità (cosa che Stack Overflow fa bene) è utile anche, in particolare per aiutare a combattere il REGALO di John Gabriel

Hai anche chiesto dove puoi ottenere elenchi di volgarità per iniziare - un progetto open source da verificare è Dansguardian - controlla il codice sorgente per i loro elenchi di volgarità predefiniti. È inoltre possibile scaricare un elenco di frasi di terze parti che è possibile scaricare per il proxy e che può essere un utile punto di riferimento per l'utente.

Modifica in risposta alla domanda modifica: grazie per il chiarimento su cosa stai cercando di fare. In tal caso, se stai solo provando a fare un semplice filtro di parole, ci sono due modi per farlo. Uno è quello di creare una singola regexp lunga con tutte le frasi vietate che si desidera censurare e fare semplicemente una regex per trovarla / sostituirla. Una regex come:

$filterRegex = "(boogers|snot|poop|shucks|argh)"

ed eseguilo sulla tua stringa di input usando preg_match () per testare all'ingrosso un hit,

o preg_replace () per cancellarli.

Puoi anche caricare queste funzioni con array piuttosto che con una singola regex lunga e, per elenchi di parole lunghe, potrebbe essere più gestibile. Vedere preg_replace () per alcuni buoni esempi su come gli array possono essere utilizzati in modo flessibile.

Per ulteriori esempi di programmazione PHP, vedi questa pagina per una classe generica un po 'avanzata per il filtraggio di parole che * è fuori dalle lettere centrali da parole censurate, e questa precedente domanda Stack Overflow che ha anche un esempio di PHP (la parte principale preziosa è l'approccio basato su parole filtrate basato su SQL - il compensatore leet-speak può essere eliminato se lo trova non necessario).

Hai anche aggiunto: " Ottenere la lista di parole in primo luogo è la vera domanda. " - Oltre ad alcuni dei precedenti collegamenti Dansgaurdiani, potresti trovare utile questo utile .zip di 458 parole.