Competí en la competencia de calificación de ensayos automatizados de Hewlett en Kaggle (# 20 en la tabla de posiciones). Para calificar estos ensayos, esencialmente se desarrolla un modelo de las palabras comunes en los ensayos buenos y las palabras comunes en los ensayos malos y se usa la apariencia de estas palabras para adivinar qué tan bueno es el ensayo.
Este enfoque tiene límites. Los calificadores no son generales, solo aprenden a calificar los ensayos que usted les ha enseñado a calificar. Tan pronto como se entregue un nuevo aviso, estos calificadores no tendrán idea de cómo calificarlos. También vacilan si los estudiantes usan sinónimos poco comunes. Antes de que puedan comenzar a calificar un ensayo, debe desarrollar un conjunto de capacitación con calificadores humanos. En esta competencia tuvimos alrededor de 2,000 ensayos calificados para cada solicitud.
Sin embargo, dada esta configuración, estos calificadores pueden hacer un trabajo bastante bueno. Sus calificaciones coincidían con los evaluadores humanos casi tan a menudo como los dos evaluadores humanos coincidían entre sí. Lo hicieron mejor cuando las preguntas fueron técnicas o científicas porque en este dominio el vocabulario es bastante limitado.
- Cómo explicar la "extracción de información" en términos simples
- ¿Se acerca el segundo invierno de IA?
- ¿Cuáles son las ventajas y desventajas de usar una gran red neuronal para realizar una regresión multivariada en comparación con los OLS normales?
- ¿Los robots van a conquistar el universo?
- ¿El diseño gráfico estaría a salvo de la tendencia de la IA?
Entonces, si está calificando exámenes estandarizados o cualquier otro ensayo escrito por toneladas de estudiantes, los aprendices automáticos podrían ayudar mucho. Para otros tipos de calificación, probablemente tendremos que esperar a que las personas de aprendizaje profundo ayuden a las computadoras a obtener un mejor modelo de ensayo que una bolsa de palabras.
