¿El éxito de un algoritmo particular causa una lentitud de progreso en el desarrollo de mejores algoritmos?

Es el equilibrio entre explotación y exploración: un concepto del aprendizaje por refuerzo de Monte Carlo.

Cuando encontramos una idea que funciona, ¿pasamos tiempo aplicándola para resolver problemas o pasamos tiempo explorando otras técnicas potencialmente mejores?

Yo diría que hay un buen equilibrio en este momento. Las personas que trabajan para obtener mejores resultados de competencia no solo usan redes más grandes. También están probando cosas como diferentes funciones de aprendizaje y técnicas de regularización. Su experimentación a menudo también contribuye al campo.

También hay muchos grupos de investigación que intentan aplicar el aprendizaje profundo a nuevos campos, y aunque en realidad no están avanzando en conceptos de aprendizaje profundo puro, todavía están explorando los límites de nuestras técnicas actuales.

Después de todo, ¿para qué sirve la teoría, si no para las aplicaciones?

Es un patrón general exprimir las mejoras fáciles de las tecnologías existentes antes de pasar a la tarea más difícil de crear una tecnología superior. Esto no es algo malo; toda la mejora de la tecnología existente tendrá beneficios, y aprendemos mucho en el proceso que es útil de otras maneras; puede ayudar a desarrollar la tecnología más nueva, o ser una mejora que también funcione para ella.
Imagine cuánto peor funcionarían las cosas si nunca optimizáramos las técnicas existentes y en su lugar solo esperáramos la próxima gran cosa. La próxima gran cosa sería peor, tomaría más tiempo y, mientras tanto, estaríamos sufriendo con una tecnología peor.
Y solo porque algo tiene límites no significa que no sea útil. Podría ser más rápido, más barato, más fácil de usar, requerir menos datos o tener un mejor rendimiento en ciertos tipos de problemas en comparación con la siguiente técnica. Podríamos esperar a que alguien descubra el algoritmo de aprendizaje automático del Santo Grial, o podemos usar lo que tenemos actualmente lo mejor que podamos y expandir nuestro conocimiento del tema en general.