Procesamiento del lenguaje natural: ¿Cuáles son algunos métodos efectivos para detectar / calificar cadenas que pueden contener palabras profanas / ofensivas?

No hay otras respuestas aquí, así que intentaré hacer que la pelota ruede con mi (muy) limitado conocimiento de IR.

(Si el método que propongo es incorrecto o defectuoso, hágamelo saber)

Para algunos problemas de clasificación con dominios finitos y relativamente pequeños, el mejor método no es solo un diccionario, es un gran diccionario que alguien más ha compilado: f.ex http://www.cs.cmu.edu/~biglou/re …

Si está buscando algo solo un poco más elegante que eso, la distancia de edición puede ser útil, es decir, verifique si la distancia de edición de cada uno de los n-gramas (para n = 1, 2, 3) en su documento es dentro de un umbral de cada una de las palabras de maldición en el diccionario (lo que sea). Es posible que desee tener en cuenta el hecho de que las palabras legítimas pueden estar dentro de una distancia de edición de una palabra en el diccionario, así como mantener un diccionario separado de palabras seguras en la lista blanca que puedan ignorarse.

Por supuesto, este enfoque de distancia de edición total es increíblemente ineficiente para el procesamiento en línea, pero debería ser capaz de ayudarlo a comenzar el procesamiento fuera de línea. Tiene la ventaja de ser increíblemente fácil de codificar.

Comience con un diccionario conocido de palabras profanas / abusivas. Ahora intente hacer coincidir las siguientes consideraciones:

• Editar distancia podría ajustarse para que funcione ignorando o reduciendo el peso de las vocales en una palabra. Esto cubrirá algunas palabras intencionalmente ofuscadas.
• Tener un mapeo de caracteres que podría usarse como reemplazo para un personaje dado. Por ejemplo, E a 3 y S a $, use esta asignación en la creación de tablas de edición-distancia.

Nota: ¡Es computacionalmente costoso usar la distancia de edición a nivel de palabra para el filtrado de spam si el volumen de correos electrónicos manejados es enorme!