La pregunta me recuerda sobre el procesamiento de lenguaje natural en papel (casi) de Scratch [1] por Ronan Collobert et al. desde 2011. Por ahora, el documento fue citado 2281 veces.
El documento fue una de las primeras historias de éxito importantes de la aplicación del aprendizaje profundo a los problemas de PNL. En un solo artículo, los autores superaron las técnicas de vanguardia en cuatro problemas principales de PNL: etiquetado POS , fragmentación , reconocimiento de entidad con nombre y etiquetado de roles semánticos . Propusieron una arquitectura de red neuronal multicapa simple, capacitada de manera integral para cada una de las cuatro tareas.
El NN toma la oración de entrada y aprende varias capas de extracción de características que procesan las entradas. Las características calculadas por las capas profundas de la red se entrenan automáticamente mediante retropropagación para que sean relevantes para la tarea.
- Cómo implementar el análisis de sentimientos en proyectos de retroalimentación de clientes
- Además de las universidades mejor clasificadas (# 1-20), ¿qué otra universidad ofrece un buen programa de maestría en informática con especialización en IA / ML en EE. UU.?
- En la regresión cuadrática, ¿por qué tengo que mantener una variable y su aumento exponencial en el mismo modelo?
- ¿Cuándo es importante utilizar convoluciones cruzadas de canales y cuándo no?
- ¿Qué métricas debo usar para evaluar un modelo generativo cuantitativamente y qué tan confiables son?
La arquitectura de red neuronal unificada para las cuatro tareas superó a los enfoques más modernos. Y por su naturaleza, el enfoque NN evitó la ingeniería específica de la tarea y el uso de características de entrada hechas por el hombre cuidadosamente optimizadas para cada tarea que fueron utilizadas por los enfoques de vanguardia. El avance aquí fue que el enfoque más simple obtiene mejores resultados en cuatro tareas diferentes (aunque similares).
Notas al pie
[1] [1103.0398] Procesamiento de lenguaje natural (casi) desde cero
