¿Cómo puedo usar el modelo oculto de Markov sin supervisión para detectar y corregir palabras dobles?

Este documento aborda específicamente eso como su fortaleza en comparación con otros modelos de corrección de errores que solo corrigen errores de sustitución / eliminación / inserción. Un modelo de Markov oculto generalizado con entrenamiento discriminativo para corrección ortográfica de consultas

  • Lo llaman corrección de palabras cruzadas en la figura a continuación. El caso publicado en la pregunta ( worktogether => work together ) se consideraría concatenación en su terminología.
  • Una cosa buena de este modelo es que su corrección utiliza un modelo de lenguaje, por lo que tiene en cuenta los contextos de palabras circundantes a diferencia de las medidas de distancia de edición tradicionales que solo miran una palabra y editan distancias de otros candidatos, un enfoque que puede generar candidatos muy improbables aunque la distancia de edición es pequeña (a veces sugerencias muy divertidas / absurdas, ya que cualquier usuario de iPhone puede testificar, aunque no se puede decir con certeza qué tipo de correcciones usan, si están usando un modelo de lenguaje para la corrección, entonces no parece estar funcionando como debería )

More Interesting

¿Cuál es el papel de un neurocientífico en el desarrollo de inteligencia artificial?

¿R necesita una herramienta de flujo de trabajo visual como RapidMiner y Knime?

¿Por qué en cualquier máquina eléctrica la corriente aumenta cuando aumenta la carga de esa máquina?

¿Cuál es la mejor manera de crear un conjunto de capacitación para el aprendizaje automático?

¿Por qué la regresión logística se considera robusta a los valores atípicos en comparación con un método de mínimos cuadrados?

¿Auto-sklearn es realmente mejor que un clasificador único optimizado por hiperparámetro? ¿Tienes experiencia con esto?

¿Cómo es usar Theano en Python?

Cómo explicar el aprendizaje automático y la minería de datos a personas no informáticas

Procesamiento de señal digital: ¿Conoce las razones por las que la deconvolución de imagen (deblur) no siempre funciona?

¿Qué tipo de modelos o técnicas de aprendizaje automático deberían usarse en los datos de la marca de tiempo del lote (por ejemplo, temperatura durante 2 horas)?

¿Cuál es el propósito del análisis de regresión?

¿Cuáles son las aplicaciones del aprendizaje automático en optometría y ciencias de la visión?

¿Por qué las redes de confrontación generativas son tan creativas?

¿Dónde puedo obtener un conjunto de datos de notas de suicidio para fines de aprendizaje automático?

¿Conoces algún software que implemente cálculos de los últimos k vectores singulares de matriz dispersa de entrada? Solía ​​irlba, pero que yo sepa, solo calcula los primeros k vectores singulares