En la minería de texto, ¿por qué deberíamos eliminar el término disperso de la matriz de términos del documento?

En la minería de texto, cuando utiliza un enfoque de bolsa de palabras, ignorar los términos que tienen una frecuencia de documento inferior a un umbral determinado puede ayudar a la generalización y evitar el sobreajuste.
Piénselo de esta manera: supongamos que tiene un gran corpus de documentos. Tendrás algunas palabras que aparecen, digamos, solo una vez. Dado que aparecen solo una vez, siempre están asociados a una clase u otra (en un problema de clasificación binaria). Luego se sienta allí y se pregunta si, si tuviera más documentos con esa palabra, aún observaría esa asociación fuerte, o si la asociación no se generalizaría. Puede generalizar esa idea y hacer la misma pregunta para umbrales de 2, 5, 10 …
Básicamente, está buscando un umbral mínimo que mejore la generalización de su modelo. Aquí es donde, generalmente, ayuda eliminar palabras con baja frecuencia.
Debe considerar este umbral como un hiperparámetro y probar diferentes configuraciones. Por lo general, intento 1, 2, 3, 5, 10, 20 y tengo una idea de cómo cambia el rendimiento.