Esto depende de lo que intentes lograr.
Si divide su modelo en varias GPU más pequeñas, su modelo estará limitado en potencia o tasa de aprendizaje. La sobrecarga de coordinar y aprender a través de particiones modelo será fundamentalmente limitante.
Si desea entrenar el modelo más profundo y complejo, intente maximizar la cantidad de VRAM (y FLOPS) que puede caber dentro de una sola GPU.
- ¿Cuáles son los pasos de validaciones cruzadas en el aprendizaje automático?
- ¿Cuál se realizará antes, computadora cuántica o fusión controlada?
- Cómo encontrar correspondencia en dos imágenes en las que los objetos son bolas del mismo tamaño y color
- ¿Las imágenes generadas por computadoras que están imbuidas de aprendizaje automático profundo se consideran arte?
- Cómo clonar una máquina virtual VMware en otra máquina virtual usando Clonezilla
Si desea entrenar múltiples modelos en paralelo, entonces múltiples GPU con más VRAM y FLOPS por unidad de moneda podrían ser un mejor valor.
Puede elegir entre hacer el mejor modelo único que pueda o desarrollar múltiples modelos. El primero es bueno para explotar y optimizar un modelo o arquitectura de modelo ya efectivo. Este último puede ser útil para evolucionar y explorar múltiples enfoques en paralelo, para prepararse para hacer un mejor modelo único en la próxima generación.
El mejor modelo valdrá mucho más que el segundo mejor modelo. Y, sin embargo, una experiencia histórica y diversa de modelos será una base mucho mejor para maximizar su habilidad en la creación de modelos futuros.
[EDIT 2] – Una segunda mirada a estos modelos de GPU específicos.
Los núcleos CUDA de 24GB y 49950 del K80 a 500MHz, por aproximadamente $ 4K, respaldarán llegar a un modelo único coherente significativamente mejor, suponiendo que sepa lo que está haciendo. También tiene un buen ancho de banda de memoria de 480 Gb / s
La mayor velocidad de reloj y la economía de un grupo de cuatro GTX 1080 TI, cada una con VRAM de 11GB, núcleos CUDA 3584 y reloj de 1500MHz, es ciertamente tentador también.
Dada su descripción hasta ahora, recomendaría comenzar con dos GTX 1080TI, RAM de placa base DDR4, un procesador modesto y algunos SSD agradables.
Esto será suficiente para apoyar su aprendizaje y modelado hasta que su experiencia dicte qué dirección tomar a continuación. Para entonces, tendrás algunas opciones excelentes para la próxima generación.
