¿Es un SVM o un clasificador MaxEnt apropiado para este escenario de clasificación de texto y por qué?

El problema aquí no es cómo clasificar sino QUÉ clasificar. Que es una palabra ¿Cómo representas palabras?

Te recomiendo que uses Word2Vec y luego tal vez ni siquiera necesites un clasificador.

Su problema está relacionado con la semántica de las palabras y word2vec es excelente para eso.

En word2vec obtienes un vector para cada palabra, palabras similares tienen vectores similares y muchas propiedades algebraicas entre vectores también se mantienen entre palabras. Por ejemplo, puede obtener palabras similares a “crema” y encontrar “mantequilla”, “leche” o Dios no permita “margarina”.

Las palabras no relacionadas con la comida estarán lejos de las palabras de la comida, serán muy fáciles de filtrar con WordVec.

Para clasificar sus palabras de comida en categorías, puede ejecutar un clasificador o un algoritmo de agrupamiento.

Puede buscar word2vec y encontrar vectores ya calculados para palabras o puede ejecutar word2vec usando gensim (Python) sobre su propio corpus.

Luis

Ambos estarían bien.
El rendimiento dependerá del tamaño de su conjunto de datos de entrenamiento. Si es grande (más de 10000), entonces debería funcionar bien.

Si es pequeño, entonces creo que necesitaría algo más avanzado, tal vez no entrenarse directamente en las palabras sino en sus vectores de palabras (busque word2vec).

OMI ambos funcionarían bien. Sería más dependiente de qué tan bueno sea un conjunto de datos para entrenar.

More Interesting

¿Qué conocimiento matemático se necesita para comenzar a trabajar en el aprendizaje profundo?

¿Cómo implemento un análisis de sentimiento a nivel de documento?

¿Por qué es importante la ciencia de datos?

¿Cuál es la diferencia entre el aprendizaje por refuerzo y la optimización de caja negra?

¿Debería un científico de datos novato centrarse en conceptos matemáticos o herramientas?

¿Es necesario aprender Python para seguir la especialización en cursos de Machine Learning, de Coursera?

Cómo ejecutar una sesión de tensorflow en un solo proceso y núcleo

¿Cuál es más importante de los tres, es decir, informática ubicua, informática distribuida y procesamiento de lenguaje natural, en el mundo de hoy?

¿Cuál es la diferencia clave entre backprop y backprop truncado a través del tiempo?

Al diseñar nuevas arquitecturas de aprendizaje profundo, ¿cómo se determina si la arquitectura es mala o si la optimización del modelo es el problema?

¿Cuál es el significado del lenguaje de máquina?

¿Puede la operación de agrupamiento aumentar el número de neuronas en el aprendizaje profundo?

¿Cómo funcionan los métodos de conjunto y por qué son superiores a los modelos individuales?

¿Qué tan similares son los problemas en los diversos campos del análisis de datos (aprendizaje automático, estadísticas, procesamiento de señales, optimización, teoría de la información, etc.)?

¿Tendrán alguna coincidencia los modelos gráficos probabilísticos y el aprendizaje profundo?