¿Qué teoría debería aprender a crear un algoritmo para clasificar los textos automáticamente?

Es mejor comenzar leyendo sobre un modelo generativo simple llamado Clasificador Naive Bayes. Sería una buena idea repasar sus fundamentos sobre la probabilidad y revisar la regla de Bayes antes de sumergirse.

Una vez que comprenda la intuición básica detrás del Clasificador de Bayes (si una palabra en un documento aparece con frecuencia en la categoría, aumenta la probabilidad de que el documento pertenezca a esa categoría), puede leer sobre otros modelos discriminatorios como la Regresión logística.

Después de esto, es posible que también necesite leer sobre ‘suavizado’, frecuencia de documentos inversa y otras mejoras específicas de dominio para estos modelos.

PD -> No se preocupe, si algunas de las palabras anteriores son nuevas, pronto las encontrará y las comprenderá. La mayoría de los temas, como el suavizado, son bastante amplios y recomiendo centrarse en obtener la intuición detrás de estos algoritmos para que pueda tomar una decisión informada sobre cuál usar y cómo mejorarlo.

Hay muchas maneras de hacer esto. Algunas API pagas también (supongo).

Comience a investigar sobre agrupación de documentos, análisis semántico latente (LSA), LDA (Dirchlet latente), SVM y K-means. Estos son en su mayoría métodos no supervisados.

También podría usar la red neuronal u otros algoritmos si tiene datos etiquetados disponibles.

No estoy seguro de lo que usa Quora.

Use una métrica como * idf en la métrica de la palabra del documento. Luego use nmf para la minería de temas. Y luego puede usar cualquier método de clasificación para etiquetas y agrupamiento para datos sin etiquetas.

More Interesting

¿Cuál es el papel de un neurocientífico en el desarrollo de inteligencia artificial?

¿Se podría denominar al PageRank como un algoritmo de aprendizaje automático?

¿Existe una conexión profunda entre el aprendizaje por propagación hacia atrás y la regla de Hebb?

¿Qué herramientas, algoritmos o estructuras de datos usaría para construir un algoritmo de "Temas de tendencias" para una transmisión de alta velocidad?

Cómo hacer ingeniería de características en aprendizaje automático

Mi campo de interés para el doctorado es la visión por computadora, el aprendizaje automático y el procesamiento de imágenes. ¿Qué recursos hay para principiantes con respecto a estos temas? Yo sé Java; ¿Debo aprender otros idiomas primero o puedo comenzar los cursos de inmediato?

¿Cuál es el nuevo enfoque o idea en la tecnología de Vicarious Systems?

¿Por qué mi red neuronal artificial predice demasiados falsos negativos (FN)?

Cómo evaluar un experimento además de usar una diferencia en regresión de diferencia

¿Se puede resolver el problema de cauvery utilizando algoritmos de aprendizaje automático?

Dado el número de heurísticas arbitrarias involucradas, ¿por qué deberíamos tener tanta fe en las redes neuronales profundas?

¿Cuál es la diferencia entre los métodos de gradiente de políticas y los métodos de actor crítico?

¿Qué algoritmos (aprendizaje automático y aprendizaje profundo) funcionan con un pequeño conjunto de datos, sin sobreajustarlo?

¿Es posible que una aplicación de aprendizaje automático que ejecute el mismo algoritmo y se alimente con los mismos datos para aprender cosas diferentes en pruebas de entrenamiento separadas?

¿Cuáles son las ventajas de aprender Apache Spark?