¿Es la informática de alto rendimiento un conocimiento esencial para el aprendizaje profundo dado que se trata de una gran red neuronal?

No.

El aprendizaje profundo sigue siendo un campo bastante extenso, lo que significa que, como profesional, es útil tener amplios conjuntos de habilidades. Todavía es difícil encontrar un especialista en otro campo (como HPC) que comprenda su campo lo suficiente como para ser útil.

Esto significa que el aprendizaje profundo con grandes redes neuronales implicará mucha más ingeniería de la que realmente debería. Por ejemplo, con frecuencia me preguntan si deberíamos gastar más dinero en E / S más rápidas, más RAM, una GPU, más servidores (paralelizando el problema), etc. ¿Por qué? Porque las personas que saben esas cosas saben tan poco sobre el aprendizaje profundo que luchan por ayudar.

Sin embargo, ‘esencial’ es una barra muy alta. Hubiera dicho que es útil tenerlo y no más. Cualquier proyecto con un presupuesto lo suficientemente grande como para involucrar computación de alto rendimiento realmente debería tener una persona de sistemas que sea capaz de ayudarlo con la configuración. Lo más probable es que gaste su propio tiempo mejorando sus habilidades especializadas en lugar de generalizar.

No. Deep Learning es una especialización de alto nivel bastante sencilla de HPC.

Para reclamar la experiencia de HPC, debe conocer muchas cosas que no necesita saber para DL. En otras palabras, los marcos DL intentan ocultar los detalles de HPC. Nunca vas a hacer DL escribiendo código MPI o ajustando el código de máquina a ciclos de vagabundeo. Las personas que desarrollan nuevos marcos DL pueden hacer eso hasta cierto punto.

More Interesting

¿Cómo se derivan las funciones de costo para las redes neuronales?

¿Es mejor hacer una competencia de ciencia de datos en Kaggle o crear un algoritmo comercial en Quantopian para encontrar un trabajo en finanzas cuantitativas?

¿Cómo puedo sobresalir en el aprendizaje automático con antecedentes estadísticos?

¿Cuáles son algunos consejos generales sobre selección de características e ingeniería que todo científico de datos debe saber?

Entre la agrupación y la clasificación, ¿cuál requiere más experiencia?

¿Cuáles son las similitudes y diferencias entre los campos aleatorios condicionales (CRF) y las redes de Markov de margen máximo (M3N)?

¿Qué es el aprendizaje de características?

¿Qué campos de la robótica tienen mucho espacio para la investigación (mucho antes de la madurez)?

¿Cómo explicaría el concepto de una capa convolucional en una red profunda a una persona no técnica?

¿Cuáles son algunos de los beneficios y desventajas de los modelos discriminativos y generativos?

¿Qué algoritmos son los mejores para el filtrado de spam? ¿Cómo deberían implementarse?

Cómo calcular la similitud de coseno

¿Podemos construir una máquina de visualización de sueños usando el procesamiento de señales?

Al aplicar redes neuronales para la clasificación binaria, ¿hay algún beneficio para el conjunto de entrenamiento que tiene un número igual de 0 y 1?

¿Cuáles son algunas formas de preprocesar imágenes antes de aplicar redes neuronales convolucionales para la tarea de clasificación de imágenes?