¿Qué objetivos de IA no se pueden resolver mediante el aprendizaje profundo?

El aprendizaje profundo no es la respuesta universal para llegar a la verdadera IA y nunca se ha afirmado como tal. La mayor parte de la confusión proviene de conceptos erróneos y simplificaciones excesivas en los medios (populares) que parecen estar en un camino interminable de tonterías.

La emoción con Deep Learning proviene del hecho de que ahora tenemos un camino, de aprendizaje automatizado, de cómo hacer que las computadoras entiendan tantas cosas que nos parecían tan obvias y parecían tan intratables como los algoritmos tradicionales en campos como la visión por computadora. y PNL.

Tome las representaciones de conocimiento y el razonamiento como ejemplos, no se afirma que el aprendizaje profundo sea directamente relevante allí. Solo eche un vistazo a las aplicaciones típicas, como la clasificación y el resumen automáticos, el análisis de sentimientos, la traducción automática, etc.

Resumir un texto, o descubrir su amplia clasificación y sentimiento no es conocimiento en sí mismo. Tampoco se resuelve una analogía de palabras mediante métodos de incrustación de vectores word2vec. Sin embargo, todos son pasos (pequeños) en la dirección correcta para que las computadoras comprendan pepitas cada vez más grandes que eventualmente se convierten en algo más parecido al conocimiento.

Las partes clave son un camino, con una idea de los pasos y la escalabilidad. Ahora tenemos ambos con aprendizaje profundo, donde estamos produciendo cada vez más estas pequeñas pepitas de conocimiento (¿knuggets?) Y podemos hacerlo a gran escala ya que tenemos muchas cosas disponibles en línea.

Tome los problemas de PNL, cualquiera tiene acceso a enormes conjuntos de datos de miles de millones de documentos, con cientos de miles de millones de oraciones y billones de palabras. Simplemente tome, por ejemplo, Common Crawl, que publica abiertamente en todos los nuevos rastreos de documentos 1.5B + ​​cada mes, con probablemente más de 10B documentos únicos en total sobre todos los rastreos anteriores.

O realice el rastreo usted mismo, un servidor asequible típico de $ 50 / mes podría incluir aproximadamente 20 TB de ancho de banda mensual, lo que debería traducirse en aproximadamente 100 millones de páginas web / mes (estas son estimaciones aproximadas aproximadas). ¿Quieres mil millones o más al mes? No hay problema, solo alquile 10 de esas máquinas a $ 500 / mes y ahora tiene su propio rastreo que puede configurar y ajustar de la manera que desee.

Lo mismo ocurre con la visión, la misma ejecución mensual de Common Crawl mencionada anteriormente incluye URL a miles de millones de imágenes y se necesita un disco completo solo para enumerarlas (!). Le sorprendería la cantidad de cosas que puede obtener incluso del procesamiento más simple y rudimentario de esas URL y sus metadatos básicos.

Gran parte de la emoción en el aprendizaje profundo proviene de esta comprensión, de que uno no es un investigador académico altamente especializado con acceso privilegiado a algunos conjuntos de datos estrechos, ni un empleado de una gran empresa con acceso a colecciones patentadas de billones de artículos, para producir Resultados nuevos y emocionantes.

Procese un gran corpus usted mismo y produzca sus propios knuggets, lo que le permitirá conocer su propio conocimiento y mostrar cómo ayuda a las computadoras a razonar sobre él. Eso es lo que la mayoría está ocupado haciendo y todo el alboroto se trata.

Sujoy Rc es correcto y permítanme agregar que el aprendizaje profundo es una IA estrecha en su mejor momento y el “estrecho” lo dice todo. Es posible que pueda vencer a cualquiera en Go (¡a quién le importa!), Pero no puedo pedirle a la misma aplicación que me dé un consejo sobre acciones. Me he dado cuenta en los últimos años que Deep Learning ha pasado de ser innovador a haber madurado muy rápido y ahora es más “cómo podemos aplicar a nuevas áreas” que “cómo podemos evolucionar”.

Hay dos problemas principales (de muchos) con Deep Learning: 1) es un procesador de procesamiento de computadora y la única forma de mejorarlo es construir más rápido, mejor potencia de cómputo, y 2) no alcanza las dimensiones superiores necesarias que gobiernan cómo funcionan nuestros cerebros como el tiempo temporal de la conectómica. Nuestros cerebros no son sistemas de avance como todos intentan explicar e incluso el Aprendizaje profundo con refuerzo y recurrencia es un sistema de avance. Este es uno de los momentos críticos más fundamentales que he llamado algo así como una “red neuronal” cuando no es una red neuronal. Deep Learning es un modelo matemático y no biológico.

A pesar de sus limitaciones, creo que el aprendizaje profundo podría ser útil en mi trabajo para preprocesar la información sensorial, al menos hasta que nos demos cuenta de que el estado actual de los sensores necesita una revisión importante, y creo que todavía hay una serie de beneficios por venir. paradigma pero no es el futuro de la inteligencia artificial. Busque en la biología y no en las matemáticas una verdadera inteligencia que pueda operar completamente sin supervisión y en entornos agnósticos de dominio. Deep Learning no puede ni podrá ser inteligencia artificial artificial (AGI) y estamos en un punto en el que AGI sería extremadamente útil para una multitud de aplicaciones, desde robots de servicio hasta seguridad y automóviles sin conductor.

Este último es un ejemplo clásico de limitaciones de aprendizaje profundo en el que todos intentan usar innumerables horas de video de carretera para entrenar sistemas de aprendizaje profundo para conducir un automóvil, pero no importa la cantidad de horas que pasen, los sistemas aún tienen fallas porque no puede comprender todos los entornos. en que se da; es decir, no puede generalizar. ¿Se ha dado cuenta cada año de que las compañías en el área de autos sin conductor siguen diciendo que su producto estará disponible para uso público en 5 años? Esperan un gran avance y continuará siendo “en 5 años” hasta que abandonen Aprendizaje profundo para una mejor tecnología. La Inteligencia Biológica Artificial puede resolver este problema, pero es muy compleja y más física que matemática.

Deep Learning (DL) requiere 1) muchos datos (de miles a millones de ejemplos), 2) hardware especializado (especialmente GPU) y 3) el proceso de aprendizaje lleva tiempo (a menudo uno o más días). Cualquier problema de IA que no tenga acceso a dichos recursos no se puede resolver con DL.

DL construye un modelo reactivo conformado solo por lo que “observa”. Ese modelo puede estar muy incompleto de manera impredecible si los datos están incompletos. Es solo a través de la elección cuidadosa de ejemplos suficientes que se puede evitar tal ‘estupidez’. Y con DL, “suficiente” generalmente se aborda introduciendo grandes cantidades de datos sin procesar y esperando lo mejor.

Algunos problemas de ejemplo que es probable que DL sirva mal: 1) aprendizaje rápido de un disparo (donde se aprende un solo ejemplo como un número de teléfono), 2) aprendizaje no supervisado (donde faltan etiquetas o clases o son incorrectas), 3) tareas donde las tácticas no son fácilmente inducibles y el espacio de datos es enorme, ambiguo e incompleto (como la predicción del mercado de valores, los juegos de guerra y el pronóstico político, a diferencia de go / ajedrez), y 4) tareas donde se necesita la explicación de un proceso de decisión compuesto, como interpretación de una novela y explicación de por qué los personajes actuaron como lo hicieron, o por qué una obra de arte es más “interesante” que otra, o dar una explicación verbal de por qué elegir una serie compleja de acciones es mejor que otra para lograr un objetivo.

Ok, esta es una pregunta difícil. En primer lugar, el aprendizaje automático no es la única parte de la inteligencia artificial. La IA es un campo muy amplio que incluye robótica, percepción, etc. El aprendizaje profundo a día de hoy es principalmente (con algunas excepciones) el aprendizaje automático supervisado. Los mejores académicos de aprendizaje automático como Yoshua Bengal, Yann Le Cunn, Michael Jordan, etc., dicen que hay muchos desafíos fundamentales con el aprendizaje profundo a la fecha y se requieren grandes avances. Es difícil decir cuáles serán estos avances, aunque el aprendizaje profundo sin supervisión es una posibilidad. Por lo tanto, es difícil decir problemas en los que el aprendizaje profundo es “irrelevante”, pero una cosa es segura: el aprendizaje por asociación, la percepción y otros problemas complejos no pueden resolverse mediante las metodologías actuales de aprendizaje profundo.

Tantos. Por ejemplo, Alpha-Go, uno de los grandes éxitos del aprendizaje profundo, no se resolvió solo con el aprendizaje profundo.

Utilizaba una combinación de aprendizaje profundo, aprendizaje de refuerzo, búsqueda y auto-juego.

El aprendizaje profundo está logrando un gran progreso en el aprendizaje supervisado, pero no en la toma de decisiones a tiempo.

Realmente no es una respuesta, pero es posible que desee comenzar a revisar un artículo titulado “HACIA LA RESPUESTA A LA PREGUNTA COMPLETA DE AI” y luego seguir con las citas. Si alguna vez viste un aprendizaje profundo en algún lugar más allá de un juguete para responder preguntas, probablemente hayas visto algo que yo no.

Creo que es seguro decir que cuando tienes pocos datos para el aprendizaje supervisado o pocos datos relevantes para la tarea de inteligencia artificial en la actualidad, en la actualidad, DL solo no te llevará lejos. Sin embargo, algunos modelos para tales casos, como el aprendizaje de refuerzo como un ejemplo, también reciben un impulso de DL. Entonces, “es complicado” 🙂