Esto es algo sencillo, así que estoy tratando de adivinar de dónde viene la pregunta, para obtener una respuesta más útil. Y en parte, supongo que viene más desde la perspectiva de Spark que desde DL o CUDA. Avísame si estoy fuera.
Un patrón general es usar Spark para la orquestación informática distribuida, mientras que CUDA se usa para el cómputo por nodo en las GPU. Esto supone que su clúster tiene nodos de trabajo con configuración CPU-GPU, por ejemplo, instancias de GPU Linux de Amazon.
Para comenzar, probablemente no quieras escribir el código CUDA tú mismo todavía, aparte de jugar un poco para entender los elementos básicos. En su lugar, utilizaría una de las diversas bibliotecas numéricas que tienen soporte para GPU (consulte Bibliotecas aceleradas por GPU, BIDData / BIDMat, ND4J: Matrices N-dimensionales para Java, etc.)
- Cómo explicar la diferencia entre RPCA y PCA
- ¿Cuál es el progreso en visión artificial?
- ¿Hay algún lugar en la ciencia donde la biblioteca estadística de Python sea pobre o inmadura en comparación con R?
- ¿Cómo aprendo la teoría profunda sobre Bitcoin como su programación o hash?
- Con el desarrollo de marcos informáticos escalables como TensorFlow y Spark, ¿seguirán siendo relevantes los marcos de una sola máquina? NumPy podría ser solo API.
De hecho, para comenzar, debe intentar la separación de variables: (1) obtener un rendimiento razonablemente bueno en el modelo de programación de procesamiento distribuido de Spark y (2) obtener un rendimiento razonablemente bueno en el aprendizaje profundo basado en CUDA en un modelo de máquina única. Luego combina los dos.
Específicos para Spark y Deep Learning, hay varios de nosotros trabajando en colaboración en varias etapas, incluidos DDF-NN de Adatao (*), DL4J de Skymind y AMPLab – UC Berkeley, todos los cuales han estado o estarán abiertos de origen una vez listo. Vea, por ejemplo, la primera arquitectura de aprendizaje profundo distribuida y escalable usando Spark y Tachyon – Strata + Hadoop World en Nueva York 2015 (es la parte de Tachyon que es más interesante en esa charla, como verá una vez que comience a pensar más profundamente sobre Esta arquitectura).
(*) Soy CEO y cofundador allí.
