Las preguntas de ciencia son desafiantes ya que cubren una amplia variedad de temas, a menudo involucran sentido común y conocimiento científico, y con frecuencia incluyen diagramas y texto. Por ejemplo, la pregunta de 4to grado:
“Los estudiantes de cuarto grado están planeando una carrera de patines. ¿Qué superficie sería la mejor para esta carrera?
(A) grava
- ¿Qué efectos tiene la inteligencia artificial en nosotros?
- ¿Cuándo tendremos combate humanoide con robot RC?
- ¿Cuál es el estado relativo de las publicaciones en revistas y conferencias en Robótica?
- Cómo explicar la estructura de una red neuronal artificial al personal de alta gerencia que no sabe acerca de ANN, como las capas ocultas y sus nodos
- ¿Qué trabajos automatizará el aprendizaje automático / IA en los próximos cinco a diez años?
(B) arena
(C) asfalto
(D) hierba ”
requiere conocimientos generales sobre patinaje sobre ruedas y diferentes materiales, así como conocimientos científicos sobre movimiento.
De nuestro trabajo empírico en AI2, la Ciencia de 4to Grado parece estar al alcance. Nuestro sistema Aristo actualmente califica casi el 50% en el examen de Ciencias del 4to Grado de NY Regents y continúa mejorando (el pase es del 65%), y nuestro trabajo incluye el progreso en las preguntas que requieren razonamiento simple y comprensión del diagrama (para algunos tipos de diagramas). Como dominio para el avance de la IA, la ciencia primaria es muy adecuada, ya que es claramente medible y ofrece una progresión gradual de tareas simples a aquellas que requieren una comprensión profunda. Ha habido varios ejemplos previos de IA haciendo un gran progreso al elegir exactamente el problema correcto para trabajar: creemos que la ciencia primaria se ajusta a ese proyecto de ley.
La ciencia del octavo grado es sustancialmente más difícil que la del cuarto grado. Las preguntas son más largas, implican diagramas más complejos y requieren un razonamiento más profundo. Sin embargo, incluso entonces hay evidencia de que se puede avanzar. Por ejemplo, en el Desafío de ciencias Allen AI de octavo grado de 2015, los mejores sistemas alcanzaron el 60% en preguntas de no elección, de opción múltiple, y los sistemas capaces de razonar con matemáticas y geometría de grado superior han mostrado un buen rendimiento. Independientemente de cuánto tiempo pase, estos desafíos crean un entorno hermoso para inspirar nuevos avances significativos en el campo.
Para más información, consulte los documentos en http://www.allenai.org/papers.html
Nuestros conjuntos de datos públicos están aquí: http://www.allenai.org/data.html.
