¿Cuáles son los 10 problemas principales en Machine Learning para 2017?

Chomba Bupe y Tapa Ghosh han cubierto casi todo lo que incluiría en mi lista y más, por lo que no enumeraré diez cosas. En cambio, solo hablaré de uno. Técnicamente cae en el número 5 en la respuesta de Chomba Bupe: razonamiento.

Representación significativa de ideas.

En mi opinión, la única forma de lograr que una red razone verdaderamente es poder almacenar ideas en la memoria en una forma que pueda manipular y usar. Actualmente, estamos enseñando a las computadoras a representar idiomas y simular el razonamiento (mal) basado en eso. Necesitamos un modelo de ideas que sea independiente del lenguaje. La interfaz con ese modelo sería una forma de traducir entre su propio idioma y el modelo de ideas de la computadora. Que yo sepa, se está haciendo muy poco en esta área y no estoy seguro de por qué.

Una opción es construir manualmente un nuevo modelo de pensamiento que una computadora pueda almacenar. Esto requeriría una colaboración masiva entre informáticos, lingüistas, neurocientíficos y otros. No veo que esto suceda a menos que un gigante tecnológico como Google o Microsoft decida invertir mucho en la idea.

La otra opción que veo es sustancialmente más fácil (pero aún increíblemente desafiante) y posiblemente más efectiva, pero mantiene la misteriosa naturaleza de caja negra del aprendizaje automático, lo que lo hace menos accesible desde una perspectiva teórica. También significa tener un sistema imperfecto. El enfoque es que una computadora aprenda esta nueva representación.

El traductor de Google actualmente utiliza redes neuronales recurrentes para traducir entre idiomas. En lugar de mapear de un idioma base a un idioma de destino, podríamos intentar una especie de agrupación de ideas semi-supervisada. Esta es probablemente una explicación pobre de lo que estoy tratando de describir, pero es solo una idea descabellada y necesita una gran cantidad de refinamiento antes de que pueda usarse de todos modos. Lo importante es lo que podemos hacer con él.

Una vez que tengamos un modelo de ideas en lugar de un lenguaje y una forma de convertir de un lado a otro, podemos intentar formar una red para hacer un razonamiento real. No solo aprenderá asociaciones entre palabras como un chatbot, sino formas de sacar conclusiones a partir de la combinación de ideas. Bueno, en teoría, de todos modos. Se necesitará mucho trabajo para lograr ese nivel de razonamiento generalizado.

La mayor parte de lo que he descrito anteriormente va mucho más allá de lo que veremos en 2017 porque este no es un proyecto de un año. Sin embargo, espero que veamos un verdadero comienzo hacia ese objetivo.

  1. El procesamiento del lenguaje natural para entender el lenguaje sigue siendo un desafío incluso para las redes más profundas
  2. Comprensión de la imagen: hemos resuelto la clasificación, ahora comprendamos qué sucede en una imagen
  3. Estabilizar las GAN. Ian Goodfellow merece un premio Turing por inventar las GAN. Quien descubra cómo entrenarlos de manera estable merece 3.
  4. Segmentación semántica: hemos resuelto la clasificación de imágenes, ahora resolvamos la segmentación semántica
  5. Estabilice el aprendizaje de refuerzo profundo: ¿cómo puedo lograr que se entrene como un buen modelo supervisado?
  6. Permitir el aprendizaje de refuerzo profundo para abordar problemas más difíciles como la venganza de Montezuma (sí, sé que las visitas generativas han ayudado)
  7. ¡Permita que el aprendizaje de refuerzo profundo controle los robots e imagine las posibilidades!
  8. Averigua qué demonios está pasando entrenando redes profundas. Si hay una cosa que rompió con el papel de los gradientes, es que no sabemos cómo funciona realmente el entrenamiento de nuestras redes.
  9. En ese sentido, descubra qué están haciendo las redes profundas en general. El papel de “comprender las redes profundas requiere repensar la generalización” me hizo repensar mi vida, pero luego el papel de refutación hizo las cosas aún más complicadas.
  10. Y finalmente, uno sin resolver del año pasado, descubra cómo hacer que el público deje de preocuparse por Skynet y empiece a preocuparse por el impacto económico.

Entre los problemas en Machine Learning que aún no se han resuelto están:

  1. Detección de spam. Dado el correo electrónico en una bandeja de entrada, identifique los mensajes de correo electrónico que son spam y los que no lo son. Tener un modelo de este problema permitiría a un programa dejar correos electrónicos que no sean spam en la bandeja de entrada y mover los correos electrónicos no deseados a una carpeta de correo no deseado. Todos deberíamos estar familiarizados con este ejemplo.
  2. Detección de fraude con tarjeta de crédito. Dadas las transacciones con tarjeta de crédito para un cliente en un mes, identifique las transacciones que realizó el cliente y las que no. Un programa con un modelo de esta decisión podría reembolsar aquellas transacciones que fueron fraudulentas.
  3. Reconocimiento de dígitos. Dado un código postal escrito a mano en los sobres, identifique el dígito para cada carácter escrito a mano. Un modelo de este problema permitiría que un programa de computadora lea y comprenda códigos postales escritos a mano y clasifique los sobres por región geográfica.
  4. Comprensión del habla. Dado un enunciado de un usuario, identifique la solicitud específica realizada por el usuario. Un modelo de este problema permitiría que un programa comprenda e intente cumplir con esa solicitud. El iPhone con Siri tiene esta capacidad.
  5. Detección de rostro . Dado un álbum de fotos digital de muchos cientos de fotografías digitales, identifique aquellas fotos que incluyan a una persona determinada. Un modelo de este proceso de decisión permitiría a un programa organizar fotos por persona. Algunas cámaras y software como iPhoto tienen esta capacidad.
  6. Recomendación de producto. Dado un historial de compras para un cliente y un gran inventario de productos, identifique aquellos productos en los que ese cliente estará interesado y es probable que compre. Un modelo de este proceso de decisión permitiría a un programa hacer recomendaciones a un cliente y motivar las compras de productos. Amazon tiene esta capacidad. También piense en Facebook, GooglePlus y Facebook que recomiendan a los usuarios que se conecten con usted después de que se registre.
  7. Diagnostico medico. Dados los síntomas exhibidos en un paciente y una base de datos de registros anónimos de pacientes, prediga si es probable que el paciente tenga una enfermedad. Un programa podría utilizar un modelo de este problema de decisión para brindar apoyo a los profesionales médicos.
  8. El comercio de acciones. Dados los movimientos de precios actuales y pasados ​​de una acción, determine si la acción debe comprarse, mantenerse o venderse. Un modelo de este problema de decisión podría proporcionar apoyo de decisión a los analistas financieros.
  9. Segmentación de clientes. Dado el patrón de comportamiento de un usuario durante un período de prueba y los comportamientos pasados ​​de todos los usuarios, identifique aquellos usuarios que se convertirán a la versión paga del producto y aquellos que no lo harán. Un modelo de este problema de decisión permitiría que un programa desencadenara intervenciones del cliente para persuadir al cliente de que se cubra temprano o participe mejor en el ensayo.
  10. Detección de forma . Dado que un usuario dibuja una forma en una pantalla táctil y una base de datos de formas conocidas, determine qué forma estaba tratando de dibujar. Un modelo de esta decisión permitiría a un programa mostrar la versión platónica de esa forma que el usuario dibujó para hacer diagramas nítidos. La aplicación para iPhone Instaviz hace esto.

Para obtener más consejos, consulte el blog de la compañía Solar Digital.

Si te gusta el comentario, ¡vota!

Una buena respuesta de Tapa Ghosh. Déjame agregar algunos puntos más.

  1. Redes de memoria : debemos comenzar a aceptar que la inteligencia requiere una gran memoria de trabajo para almacenar hechos.
  2. Computadoras neuronales diferenciables (DNC) : busquemos una forma de ampliar estos tipos, tienen potencial.
  3. Detección de objetos : la clasificación de imágenes + localización sigue siendo un campo muy desafiante en visión por computadora (CV) y aprendizaje automático (ML). Pongamos este problema en 2017.
  4. Atención : necesitamos hacer uso de la atención en redes neuronales. La atención aún no está resuelta, pero es importante hacer un buen uso de los recursos computacionales utilizando la atención.
  5. Razonamiento : Un sistema de razonamiento de ML puede ser lo mejor de lo mejor.
  6. También debemos dejar de considerar que todo es diferenciable porque muchos de los problemas reales de IA que pueden conducir a una inteligencia fuerte no son fácilmente diferenciables. La introducción de un problema simplificado diferenciable significa que siempre tendrá sistemas más débiles. (Esta es una opinión personal)
  7. Comencemos a utilizar los datos de capacitación en video . Hemos estado usando imágenes estáticas durante el tiempo suficiente. Construyamos sistemas de aprendizaje automático que aprendan mediante observaciones y escucha.
  8. Hagamos sistemas de aprendizaje más profundos que puedan aprender de la menor cantidad de ejemplos posible. Resolvamos el aprendizaje de una sola vez .
  9. Acepta el hecho de que DL solo no resolverá la inteligencia. No hay teorema de almuerzo gratis.
  10. Continuemos democratizando la IA , el poder computacional y el big data. Los cerebros para resolver la inteligencia están en todo el mundo.
  11. Punto de bonificación 2017 estará lleno de sorpresas.

EDITAR: Según lo sugerido por Sean Leary, permítanme ampliar los puntos:

  1. Las redes neuronales aumentadas de memoria [1] o las redes de memoria en resumen son un tipo de red neuronal conectada a un bloque de memoria que la red puede leer y escribir. Necesitamos encontrar una mejor manera para que esas redes descubran hechos, los almacenen y los utilicen de manera efectiva para resolver problemas.
  2. Computadoras neuronales diferenciables (DNC) [2]: son un tipo especial de redes neuronales aumentadas de memoria, como una computadora digital, tiene componentes similares como bloques de memoria (RAM) y un controlador que son todos diferenciables y de ahí el nombre DNC. Estos sistemas pueden “pensar” pero no son tan fáciles de escalar.
  3. La detección de objetos se explica por sí misma, actualmente es difícil para los algoritmos seleccionar objetos [3].
  4. Atención [4]: ​​la atención se trata de enfocarse en una porción más pequeña de los estímulos de entrada a la vez y luego integrar los resultados finalmente al final. El sistema visual humano utiliza la atención [5] para integrar un conjunto de características mucho más rico de una manera robusta. Necesitamos tales mecanismos integrados en las redes neuronales en el soporte para que puedan mejorar.
  5. Conner Davis ha cubierto este [6]
  6. Tomemos, por ejemplo, que la atención se implementa actualmente usando “atención suave” usando una función softmax para acceder a los bloques de memoria, pero en realidad se supone que la atención es difícil (no diferenciable). Simplemente poner “atención dura” a “atención suave” significa que estamos perdiendo algo, busquemos una manera de resolver los problemas reales de IA no diferenciables tal como están.
  7. Esto también se explica por sí mismo, los conjuntos de datos de video son mucho más ricos en contenido que las imágenes estáticas. Los humanos aprendemos observando un mundo dinámico, no estático. Hay señales importantes en el video que obviamente pueden ayudar al aprendizaje.
  8. El aprendizaje único [7] es la capacidad de aprender usando muy pocos o solo un ejemplo.
  9. Necesitamos un conjunto de algoritmos DL + algo + algo2 + … + algoN para resolver la inteligencia. Solo un sistema modular puede resolver la inteligencia. No hay un teorema de almuerzo gratis, un algoritmo que funciona mejor en un conjunto de problemas pagará eso si se desempeña mal en los otros conjuntos de problemas restantes.
  10. Democratizando la IA: Satya Nadella sobre la visión de la IA y el impacto social en DLD
  11. Se esperan tantos avances 🙂
  12. Punto de bonificación adicional : Resuelva el problema de ejemplos adversos [8].

Espero que esto ayude.

Notas al pie

[1] https://arxiv.org/pdf/1605.07427

[2] Computadoras neuronales diferenciables | Mente profunda

[3] Detección más rápida de R-CNN en la caminata de París

[4] Atención y memoria en aprendizaje profundo y PNL

[5] Teoría de la integración de características – Wikipedia

[6] La respuesta de Conner Davis a ¿Cuáles son los 10 problemas principales en Machine Learning para 2017?

[7] Aprendizaje único – Wikipedia

[8] Atacar el aprendizaje automático con ejemplos adversos

La mayoría de las cosas se responden, así que no puedo pensar en 10, pero digamos a continuación los problemas Top 8 Problemas de aprendizaje automático

  1. Espacio de eventos variable: – Necesitamos encontrar una manera de hacer que nuestros clasificadores / sistemas puedan responder de manera eficiente y significativa incluso si el espacio de eventos varía ampliamente en comparación con los datos de entrenamiento.
  2. Comprensión del contexto en el procesamiento del lenguaje: – El análisis del contexto sigue siendo un déficit importante que tenemos en el procesamiento del lenguaje. (Al equipo de IA abierta se le ocurrió una nueva idea de permitir que los agentes creen nuevas reglas en lugar de encontrar patrones).
  3. Identificación facial en espacios con características variables: – Sin embargo, el reconocimiento facial está lejos de ser perfecto, aunque es un requisito principal.
  4. Aprendizaje automatizado sobre un repositorio de recursos: – Todavía falta aprender de diferentes recursos con un sentido conectado basado en gráficos. (IBM Watson ha hecho un gran trabajo pero aún se requiere un sistema inteligente general más automatizado)
  5. Razonamiento / Agentes debatibles: – Capacidad del sistema relacionada con el razonamiento lógico en un espacio de prueba diferente (sin hablar de motores basados ​​en reglas)
  6. Generación de respuesta eficiente: – Capacidad para generar respuestas contextuales (¿El problema cuando Siri dice quién soy?)
  7. Factores externos en DL: – Solo los sesgos y la función de activación no harán el trabajo
  8. Regla humana de tres vías: – Generación de conocimiento basada en la regla humana de tres vías. imagen-> tipo-> desc.

¡¡Prestigio!!:)

Aquí hay algunos problemas que OpenAI está considerando explorar: Solicitudes de investigación.