¿Scikit-learn admite paralelismo, es decir, se puede usar en un grupo de máquinas que ejecutan tareas en paralelo?

** Descargo de responsabilidad ** Trabajo para SigOpt como ingeniero de investigación

Para complementar la excelente respuesta de Olivier, me gustaría agregar que hemos escrito una pequeña envoltura para ayudar a los usuarios a ajustar los hiperparámetros de varios modelos de clasificación de aprendizaje scikit en paralelo usando el servicio de optimización bayesiano de SigOpt.

Este paquete solo es adecuado para entrenar / ajustar modelos simultáneamente en una sola máquina, similar a las clases GridSearchCV y RandomizedSearchCV en scikit-learn, pero para muchos conjuntos de datos, las instancias más grandes en AWS no tendrán problemas para ajustar todo en la memoria y ofrecerán más de suficientes núcleos de CPU para soportar los esfuerzos paralelos. Puede verificar el código aquí: sigopt / sigopt_sklearn

También hice un breve tutorial sobre cómo usar el paquete y configurar su entorno en una instancia EC2 aquí:

Puede probar las cosas fácilmente con nuestra versión de prueba gratuita, así que si le resulta útil, ¡nos encantaría saberlo!