¿Por qué todavía necesitamos aprender Minería de datos cuando tenemos Mahout?

1. Necesita una buena base teórica porque eso lo ayudará a desarrollar ideas e intuición sobre la resolución de problemas.

2. También necesitará saber qué algoritmos existen, cómo funcionan y sus méritos y desventajas relativas en términos de complejidad del tiempo de ejecución, requisitos de espacio, precisión, comportamiento en altas dimensiones, sensibilidad a la presencia de ruido, etc. al seleccionar Enfoque para resolver su problema.

3. Es necesario conocer la teoría porque, los algoritmos específicos están diseñados para funcionar en escenarios específicos: por ejemplo, el ingenuo clasificador de Bayes supone que los datos están condicionados de forma independiente a la clase. Hacer tal suposición puede ser justificable o fatal dependiendo del tipo de datos con los que esté trabajando. Como otro ejemplo, el simple hecho de conocer Mahout no lo ayudará a determinar si debe usar un sistema de recomendación basado en elementos o basado en usuarios para su problema. Necesitas conocimientos teóricos.

4. Además de todo lo anterior, los sistemas de Machine Learning (considere los autos sin conductor de Google) a menudo brindan muchos desafíos de ingeniería, como requisitos de robustez, escalabilidad, tiempo de respuesta en tiempo real, capacidad de ejecución en un entorno distribuido, etc. Todo esto tiene que combinarse con el conocimiento teórico para producir un sistema utilizable.

Saber más teorías nunca está de más, aunque ese proceso puede ser lento y tedioso.

Si bien no puedo reclamar ninguna gran experiencia con Mahout, ciertamente reclamo una gran cantidad de experiencia con otras tecnologías, y este tiempo pasado “en las trincheras” me ha enseñado (al menos) una cosa:

Algún día, saldrá mal.

Poner fe ciega en cualquier herramienta sin comprender los principios detrás de esto es una tontería extrema, cuando su herramienta se detiene o comienza a arrojar basura a las 16:30 un viernes por la tarde (elija el día que marca el final de la semana) para adaptarse a las circunstancias locales, pero siempre es justo antes de regresar a casa …), si no sabes dónde buscar, si estás usando una caja negra … estás condenado. Su jefe estará detrás de usted, exigiendo respuestas, y ¿qué va a decir?

Para seguir con la buena respuesta de Sean, Mahout no es la solución a todas sus preguntas. Es convincente, importante, y dentro de 10 años miraremos hacia atrás y nos preguntaremos cómo vivimos sin un amplio acceso a este tipo de implementaciones de ML, pero es solo parte de un espectro de formas en las que necesitará trabajar con sus datos. .