¿Le preocupa la investigación en NN y el aprendizaje profundo, ya que los resultados se basan en demasiados resultados sin respaldarlos con una explicación teórica sólida?

La respuesta corta es no. Pero estas dos cosas no son incompatibles.

Creo que es necesario una mejor comprensión teórica del aprendizaje profundo.

Pero si un método funciona, no debe ser abandonado ni descartado solo porque los teóricos aún no han descubierto cómo explicarlo. El campo del aprendizaje automático cometió ese error a mediados de la década de 1990, desestimando en gran medida las redes neuronales (y a veces incluso burlándose de él). Las razones para esto son complicadas, pero eso claramente fue un grave error colectivo en el sentido de que el campo se retrasó al menos una década.

Al trabajar estrictamente en métodos que puede analizar completamente en teoría, se limita a utilizar métodos excesivamente ingenuos.

Los físicos no trabajan así. No pueden elegir la complejidad de los sistemas que estudian: el mundo físico es lo que es. Para ellos, los sistemas complejos son más interesantes. Por ejemplo, se desarrollaron muchos métodos interesantes de matemática y física teórica en el contexto del estudio de los cristales giratorios y otros sistemas “desordenados”. Los físicos no podían simplemente elegir no estudiar estos sistemas porque eran demasiado complicados. En nuestro campo orientado a la ingeniería, en el que los sistemas que estudiamos son artefactos de nuestra propia creación, podemos sentir la tentación de simplificar esas creaciones para analizarlas más fácilmente. Pero si los simplificamos demasiado en el proceso de tal manera que ya no funcionen, arrojamos al bebé con el agua del baño.

Trabajar con modelos simples de ML solo porque puedes hacer teoría sobre ellos es como buscar tus llaves perdidas bajo la luz de la calle, incluso si las perdiste en otro lugar.

Estoy seguro de que la gran colección de personas extremadamente inteligentes en matemáticas, física teórica y teoría del aprendizaje automático presentará un avance en nuestra comprensión del aprendizaje profundo.

La motivación para hacerlo es muy alta, dada la gran cantidad de energía intelectual y eléctrica gastada en el aprendizaje profundo en estos días, y dado su papel en la transformación de la sociedad, comenzando con los autos sin conductor.

Realmente no. Como en cualquier campo, hay profesionales y teóricos que continuamente se esfuerzan por encontrar razones por las cuales las cosas funcionan, no solo mejoran los resultados actuales. Siempre ha sido, y siempre será el caso, que observamos fenómenos para los cuales aún no hemos desarrollado una explicación completa.

Amnon Shasua y Shai Shalev-Shwartz son algunas de las personas que avanzan en la teoría sobre este tema, sugiero que vean algunos de sus trabajos recientes.

Me preocupa más lo feo que son los NN matemáticamente. La teoría que falta es probablemente el resultado de esta fealdad. Pero espero que la exageración actual pase cuando las personas se den cuenta de que cualquier cosa que se ponga en tanto hardware tiene una buena posibilidad de mostrar un rendimiento mejorado.

More Interesting

¿Cómo los estudiantes de posgrado mejoran su código, ya que no existe un proceso formal?

¿Por qué alguien querría ser profesor en lugar de trabajar en Microsoft Research? El beneficio más obvio es que puedes enseñar, pero ¿hay otros beneficios?

¿Cuáles son algunos de los temas de investigación en seguridad en la nube para un estudiante universitario?

¿Cuáles son algunos temas de investigación recientes sobre diseño de máquinas?

¿Es interesante la informática?

¿Qué cursos de CS debo completar antes de intentar la investigación de pregrado?

¿Cuál es un problema o problema interesante relacionado con los lenguajes de script para un proyecto en mi curso de diseño de lenguaje de programación?

¿Cuáles son algunos avances recientes en la teoría de juegos?

¿Por qué TeXmacs aún no ha reemplazado a TeX o LaTeX?

¿Por qué no hay un mayor énfasis en los algoritmos aleatorios para estudiantes de informática?

¿Cuál es el propósito de las carpetas ocultas $ recycle.bin y de datos del programa en la unidad C?

¿Es la visión por computadora un campo de investigación sobrevalorado?

¿Cómo es el Vietnam Journal of Computer Science en términos de reputación, tasa de aceptación y calidad de los documentos aceptados?

¿Cuán "ciegos" son los revisores de conferencias académicas? ¿Pueden los profesores y / o estudiantes de posgrado a menudo reconocer a los autores del trabajo, a pesar de que las revisiones son técnicamente "ciegas"?

¿Cómo es ser un estudiante graduado en ciencias de la computación en la USC?