El número de núcleos paralelos es más importante que el poder de los núcleos individuales en el aprendizaje profundo. Porque estamos haciendo operaciones simples y cortas (convoluciones), pero estamos haciendo muchas de ellas. Entonces, la paralelización es lo más crucial para la velocidad en el aprendizaje profundo.
Entonces, hagamos una comparación: en una tarjeta gráfica NVIDIA Titan X, que a menudo se usa para el aprendizaje profundo, hay 3584 núcleos que se pueden ejecutar en paralelo. Sin embargo, en un procesador Intel Xeon Phi, solo hay alrededor de 60 núcleos. Por lo tanto, usar Xeon Phi sería más lento que usar un procesador de gráficos como Titan X.
Ha habido algunos intentos de introducir sistemas de aprendizaje profundo que pueden funcionar rápidamente con CPU en lugar de GPU, en otras palabras, que dependen menos de la paralelización. Estos fueron principalmente para redes 3D que utilizan núcleos grandes. La idea era hacer que las operaciones de convolución individuales fueran más grandes, para que se beneficiara de la potencia de los núcleos de CPU. No tengo actualizaciones sobre dichos sistemas y las arquitecturas recientes de aprendizaje profundo usan núcleos pequeños (3 × 3) por varias razones.
- ¿Qué técnicas se usan generalmente para la reducción de la dimensionalidad en el campo de análisis de Big Data?
- ¿Cómo puede un estudiante de segundo año de Informática llegar al estudio del aprendizaje automático? ¿Cómo comienza uno?
- ¿Cómo descifrar cualquier entrevista de aprendizaje automático? ¿Qué tipo de preguntas debo esperar? Qué tipos de proyectos paralelos relevantes se verían bien en un CV
- ¿Cómo seleccionaría los datos para capacitar y probar los modelos?
- ¿Por qué está disminuyendo el número de concursos públicos de Kaggle con premios en efectivo?
