¿Apache Spark es un buen marco para implementar Reinforcement Learning?

Apache Spark se está convirtiendo en un término general para muchos componentes diferentes, por lo que es importante establecer el contexto.

Spark Core es un motor de procesamiento de datos y programación de tareas muy genérico. Hay ciertas características, que lo convierten en una base de infraestructura impresionante para el aprendizaje de refuerzo.

Específicamente:

• Modelo muy limpio para operaciones de grano grueso inmutable en grandes conjuntos de datos. Migrar de experimentos de ciencia de datos python o R a la implementación de producción es mucho más fácil.
• Almacenamiento en caché de datos, que le permite implementar múltiples pasadas de datos sin que sea necesario persistir después de cada pasada. Esto es de gran ayuda cuando necesita implementar Gradient Descent, SGD o AdaGrad.
• Particionamiento de datos automatizado y personalizable.
• Programación distribuida de tareas con procesamiento de tareas garantizado
• Distribución automatizada de código
• Modo local para facilitar el desarrollo.

Además de Spark Core, hay un marco más específico llamado Spark Streaming, que será útil si necesita actualizaciones de modelos casi en tiempo real. Spark Streaming continúa admitiendo las operaciones de grano grueso inmutables para el flujo de datos. También agrega garantía (con ciertas limitaciones) exactamente una vez que se procesa y una gran capacidad para la administración de estado de transmisión.

Creo que la gestión de estado de transmisión es una herramienta muy útil específicamente para el aprendizaje de refuerzo, si sus algoritmos admiten actualizaciones de modelos casi en tiempo real.

Ahora, las tareas específicas de aprendizaje por refuerzo pueden necesitar un marco mucho más específico. Es posible que necesite extracción de características, álgebra lineal, diversas implementaciones de descenso de gradiente, validación de modelos, etc.

Para estas tareas, puede usar Spark ML o buscar más. Hay muchas bibliotecas ML, que están construidas sobre Spark, pero se ajustan mejor a sus necesidades específicas que Spark MLib.

Algunos de los marcos a considerar:

• Agua con gas – H2O.ai (0xData) – Aprendizaje automático escalable rápido
• KeystoneML
• Aprendizaje profundo distribuido de código abierto para la JVM

No. Spark es bueno para algoritmos simples de Machine Learning.

Incluso para aquellos no es muy eficiente, por lo que cambia la eficiencia por la simplicidad de la programación.

Si desea una implementación de aprendizaje de refuerzo escalable que funcione bien, necesita usar más herramientas de bajo nivel como Torque / OpenMPI.