Bill lo captura completamente, comenzando con “cajas negras de red neuronal”. Ni siquiera tenemos un razonamiento matemático formal en muchos casos de por qué los modelos funcionan como lo hacen. Particularmente en los avances recientes que hemos visto, el razonamiento formal a menudo, si no siempre, va detrás de la avalancha de modelos de trabajo altamente exitosos, algunos de los cuales nos superan en su precisión al realizar ciertas tareas.
La tensión entre los diseñadores exitosos de modelos y el razonamiento matemático formal es evidente en un intercambio reciente entre Yann Le Cun y Ray Kurzweil (enero de 2017).
En resumen, los diseñadores de modelos juguetean y progresan ayudados en parte por la intuición desarrollada con el trabajo en el espacio del problema.
- ¿Por qué a veces vanilla SGD y Momentum superan a los optimizadores como AdaDelta en el aprendizaje profundo?
- ¿Cómo se implementa una pila en hardware para subrutinas de nivel de código de máquina?
- ¿Por qué la longitud desigual del texto es un problema en el procesamiento del lenguaje natural?
- ¿Cuál es la mejor manera de administrar indicadores de función o alternar características para equipos de desarrollo más grandes?
- ¿Cómo se pueden engañar los modelos de clasificación existentes?
En cuanto a los programadores / ingenieros como yo que ni siquiera diseñan nuevos modelos, el razonamiento matemático más formal ( repleto de gimnasia de notación que puede hacer que incluso nuestros ágiles músculos sacádicos se cansen ) puede estar más allá del alcance de la comprensión de todos modos: simplemente elegimos / adaptamos Modelos existentes e hiperparámetros de ajuste.
- Sin embargo, deseo creer que todavía hay una oportunidad para aquellos como yo de crear valor a menor escala, aunque uno inevitablemente debe renunciar al título de “buen programador” y aceptar la etiqueta “un primate bípedo que aprende a girar perillas”. – Todavía no soy experto …
