¿Cuál es el mayor obstáculo para progresar en el aprendizaje profundo?

Algunos de los problemas en los que trabaja AI son problemas realmente difíciles. Para recordarte un problema muy conocido, teóricamente podrías programar una máquina para jugar al ajedrez “perfecto” observando todos los movimientos posibles, todos los posibles movimientos de ese movimiento y así sucesivamente hasta el final del juego. Desafortunadamente, la cantidad de juegos de ajedrez posibles es tan astronómica que incluso si todo el universo se convirtiera en una computadora, ¡tomaría mucho más tiempo que toda la vida del universo calcular todos los movimientos posibles! El aprendizaje profundo generalmente se refiere a un tipo de aprendizaje de redes neuronales en el que no tiene que hacer una búsqueda exhaustiva, pero aún necesita exponer el sistema a muchos ejemplos. El obstáculo proviene de la naturaleza del problema que está tratando de resolver. Si intenta enseñar a una red neuronal la relación entre el diámetro de un círculo y su circunferencia a partir de ejemplos, no debería tomar demasiado tiempo porque la relación en sí misma es muy simple y no hay “casos especiales” para aprender. En muchos dominios, realmente no sabemos cuán difícil es realmente el problema. Tome la predicción del clima. La ciencia comprende muy bien cómo varios factores afectan el clima, pero los patrones son caóticos. Entre otras cosas, depende mucho de pequeñas diferencias en las condiciones iniciales. (Esto a veces se conoce como el “efecto mariposa”: una mariposa que bate sus alas en Tailandia podría afectar el clima cinco días después en Nueva Zelanda). Entonces, una clase de obstáculos tiene que ver con la naturaleza de cuán difíciles son ciertos problemas. Las redes neuronales se basan * libremente * en una analogía con las neuronas. Pero las neuronas * reales * son mucho más complejas que las neuronas artificiales. Las neuronas son células vivas. Responden a muchos tipos de señales químicas, no solo a una. Tienen geometría compleja. Esa geometría interactúa con la llegada de señales de otras neuronas. Las neuronas artificiales simplifican lo que sucede al “sumar” todas las señales dentro de un marco de tiempo fijo. Nadie sabe realmente si estas simplificaciones limitan fundamentalmente lo que pueden aprender las redes neuronales artificiales. Sospecho que no. Luego, existe la elección de ejemplos. El mundo sigue cambiando. Imagina que estás jugando tenis y tratando de encontrar una manera de vencer a un oponente que nunca has visto antes. Ves que están cometiendo más errores en su revés, por lo que golpeas más a su revés. Pero si * siempre * golpeas a su revés, pueden anticipar eso y reaccionar para quitarle tu ventaja. Peor aún, pueden mejorar y golpear su revés durante el partido. O, tal vez su revés sea en realidad un tiro fuerte y te estaban fingiendo para que golpees a su revés. Pueden reaccionar a su estrategia llegando a la red con más frecuencia y comenzar a ganar muchos puntos. De todos modos, el punto es que en muchos dominios, las condiciones no son fijas, sino que varían. El aprendizaje profundo puede funcionar maravillosamente bien en un juego como GO donde las reglas no cambian. Pero, las redes neuronales, como las personas, siempre están construyendo un modelo de realidad que “va a la zaga” de la realidad real (a menos que sea un dominio completamente estable como GO). Las personas tienen varias formas de tratar de contrarrestar esto. Puede observar que sus predicciones del mercado de valores están “apagadas” y se vuelven cada vez más conservadoras a medida que pasa el tiempo. Entonces, lo “arreglas” decidiendo hacer tus predicciones menos conservadoras. Tan pronto como eso sucede, Trump es elegido y “nacionaliza” el sector energético. El mercado se derrumba. ¿El modelo de predicción fue “incorrecto”? No exactamente. No puede tener en cuenta * todo * en el mundo, pero * cualquier cosa * en el mundo podría afectar el mercado de valores. Hasta ahora, la mayoría de las redes neuronales ni siquiera intentan tener en cuenta estos factores externos que son “cambiadores de juego”. A las personas también les resulta muy difícil, pero somos capaces de “imaginar” futuros posibles y lo que podrían significar. En resumen, el mayor “obstáculo” es que muchos problemas son inherentemente más difíciles de lo que parecen.