¿Qué tiene de importante el trabajo de investigación sobre aprendizaje automático ‘Network in Network?

Red en red es un nombre más nuevo para lo que LeCun (el tipo de CNN) llamaría convolución 1 × 1. Se puede interpretar de varias maneras, dependiendo de la perspectiva desde la que se esté mirando.

  1. Permite filtros no lineales en convolución. Esta es la opinión de los autores del artículo NIN. Un filtro “detecta” la entrada que posee un patrón particular. Un filtro no lineal, en comparación con uno lineal, es capaz de detectar patrones más complejos.
  2. Se puede utilizar como un medio para reducir la cantidad de filtros. Así es como lo hace GoogLeNet.

Realmente el nombre “Red en Red” es erróneo. La convolución 1 × 1 es un nombre mucho más simple. Esta técnica fue utilizada por LeCun y sus amigos probablemente hace 2 décadas, e incluso en los últimos años los autores son solo uno de los que la “redescubrieron” de forma independiente.

En cuanto a la importancia de ese artículo en particular, los autores no identificaron la razón precisa por la que 1 × 1 funciona bien. Simplemente decir que una mayor falta de linealidad permite una mayor capacidad es como decir que cuanto más grande sea tu cerebro, más inteligente serás. Tal respuesta no es incorrecta, pero es demasiado general para ser de alguna utilidad.

En otra nota, tiene un nombre bastante pegadizo. Y la técnica que volvió a popularizar es ciertamente de uso frecuente hoy en día. Sin embargo, su débil justificación significa que algún trabajo teórico mejor en el futuro puede volverlo obsoleto.

IIRC introdujo la Convolución 1 × 1 para la reducción de dimensionalidad e introdujo redes neuronales totalmente convolucionales.

More Interesting

¿Cómo debo pasar el mes de mis vacaciones de verano después de mi pasantía de investigación?

¿Qué productos han salido de Microsoft Research?

¿Existe algún documento / tesis / investigación que demuestre que RegEx no debe usarse para el análisis HTML y que en su lugar debe usarse un analizador XML?

¿Cuáles son las áreas clave de investigación en la práctica de farmacia actualmente?

¿Cuáles son los resultados en la investigación en el área de filtrado colaborativo para recomendaciones de artículos de noticias?

¿Es buena la sobre optimización en la investigación en informática?

Como estudiante universitario sin un asesor, ¿cómo realizo una investigación en los campos de VLSI, arquitecturas informáticas y sistemas de baja potencia con el objetivo de publicar artículos en revistas / conferencias de renombre? ¿Cómo planeo publicar artículos?

¿Cuáles son los hechos más interesantes sobre las computadoras y el almacenamiento de computadoras?

¿Cómo debo revisar la literatura relevante sobre un tema muy específico sobre el cual no tengo mucho conocimiento?

¿Cómo habría sido diferente la historia si las primeras computadoras fueran significativamente más poderosas para empezar?

¿Tener demasiados datos ralentiza tu PC?

¿Cuáles son los pasos (para un estudiante indio) para escribir un trabajo de investigación en ciencias de la computación sin la ayuda de profesores universitarios?

¿En qué problemas están trabajando actualmente los investigadores?

¿Cuáles son los diversos campos en los que se superponen la física y la informática?

¿Aprender Linux es importante para un estudiante de ciencias de la computación?