Supongo que está preguntando acerca de los cálculos “rápidos” para la capacitación de aprendizaje profundo y no son energéticamente eficientes.
No la mayoría de los cálculos no están hechos para el aprendizaje profundo, están hechos para poder realizar cualquier tarea, pero no necesariamente muy rápido. La mayoría de los sistemas de aprendizaje profundo utilizan múltiples GPU para realizar la mayoría de los cálculos. Entonces, si carece de una GPU, puede llevar mucho tiempo entrenar un modelo de aprendizaje profundo, dependiendo de cuántas capas tenga NN, podría tomar entre 100 y 1000 veces más.
Tanto Google como Nvidia están trabajando en hardware diseñado específicamente para el aprendizaje profundo.
- ¿Cuál es la mejor manera de lidiar con StackOverlords?
- Si programas como Hack Reactor son legítimos, ¿por qué la gente se molesta con los títulos en informática de las universidades tradicionales? ¿Alguien tiene experiencia con un programa como Hack Reactor y pueden dar fe de su éxito en comparación con la universidad normal?
- ¿Por qué no hay soluciones para los problemas NP-Hard?
- ¿Cómo se estudia una asignatura como Física / Matemática / Informática (que es tan abstracta) y se desconecta del mundo y, sin embargo, se aplica para resolver (con éxito) problemas del mundo real? (Como Elon Musk, por ejemplo)
- ¿Cómo difiere la ingeniería de software de la informática? ¿Son los dos aburridos?
Google tiene sus TPU en la nube que deberían estar disponibles a finales de este año. El TPU es un ASIC diseñado para preformar solo operaciones de tensor, por lo que es bastante rápido y energéticamente eficiente.
Nvidia anunció su nueva GPU Volta GV100 que no solo tiene núcleos CUDA normales sino también nuevos núcleos Tensor, que pueden preformar el aprendizaje profundo bastante más rápido que su tarjeta insignia GP100 de última generación. La tarjeta volta es la mejor del mundo, funciona bien para aplicaciones tradicionales de HPC y gráficos, así como aplicaciones de aprendizaje profundo
Ambas tecnologías nuevas ayudarán en gran medida a mantener el aprendizaje profundo avanzando a un ritmo rápido.
