¿Cómo utiliza un científico de datos herramientas de control de versiones como GIT y SVN?

Hay una nueva herramienta de código abierto Data Versin Control (DVC) diseñada para ayudar a los científicos de datos a realizar un seguimiento de sus dependencias de archivos y procesos de aprendizaje automático en forma de comandos similares a git, como: dvc run python train_model.py data/train_matrix.p data/model.p .

Proporciona seguimiento de los pasos, dependencias entre los pasos, dependencias entre el código y los archivos de datos y todos los argumentos de ejecución del código, por lo que combina el control de versiones para el código y para la base de datos. Aquí está el tutorial y el diagrama, explicando cómo podría usarse para la colaboración de científicos de datos: Control de versión de datos – Tutorial

Personalmente, no uso Git para las pequeñas tareas cotidianas. Pero una vez que estoy trabajando para un proyecto y he formalizado el posible curso de acción, creo un proyecto Git y me comprometo a medida que el proyecto evoluciona. Esto me da control sobre el proyecto y la confianza de que estoy avanzando.

Hay momentos en que varias personas están trabajando en el mismo código de proyecto. Recientemente estaba trabajando en un producto de ciencia de datos para mi empresa y había 3 personas trabajando en el mismo proyecto. Estaba escribiendo todo el código de Machine Learning / Data Mining, otros miembros del equipo estaban construyendo el código de integración que toma mi código y lo ajusta a otros sistemas. Por lo tanto, se suponía que todos debían tener el mismo código que ellos registraban para hacer su propia sucursal y luego confirmar su código de vez en cuando para otros. Ahora más personas pueden unirse al desarrollo fácilmente.

Creo que el concepto de control de versiones es bueno, pero no debe usarse en exceso en Data Science por cada pequeño cambio. Guárdelo solo para comprometer los hitos del proyecto.