¿La democratización de los algoritmos de aprendizaje automático es una bendición o un peligro para los profesionales no expertos?

La democratización es algo bueno en general porque reduce la cantidad de trabajo realizado por profesionales en el área.

Sin embargo, en el contexto de su pregunta, es decir, usuarios no expertos, lo encuentro potencialmente peligroso. Tres razones para esto:

  1. Los usuarios de negocios, incluso los que están muy bien informados, tienen dificultades con la incertidumbre. Un ejemplo simple: después de ejecutar una prueba A / B donde el grupo de prueba mostró un aumento leve pero significativo en los ingresos por usuario, alguien me pregunta “¿cuál es la probabilidad de que no veamos el aumento en los ingresos si exponemos a la población a la prueba? ? “Hago mis cálculos y respondo” Hay 1% de probabilidad “. Luego exponemos a la población y los ingresos no aumentan. ¿Qué crees que piensa el usuario de negocios? Para la mayoría de las personas, 1% de probabilidad significa literalmente “es imposible que suceda”. Hay tantas cosas relacionadas con la probabilidad en el aprendizaje automático que creo que sería extremadamente difícil construir un modelo de producción para los no expertos.
  2. El verdadero poder del aprendizaje automático no está en los algoritmos. El verdadero poder del aprendizaje automático es la ingeniería de características. No he visto que la ingeniería de características sea más fácil desde que empecé. Nunca conocí a un no experto que dijera las palabras “ingeniería de características”. Con suerte, algunos modelos estarán “bien” sin ingeniería de características, pero la mayoría no lo hará. Cuando los modelos no se generalizan, ¿qué hará un no experto? Porque la mayoría de ellos no se generalizará.
  3. La mayoría de los usuarios comerciales que conozco no pueden manejar un conjunto de datos con 1 millón de filas. Los modelos en los que he estado trabajando en las últimas semanas tienen 8, 19 y 29 millones de filas. Todos ellos tuvieron que ser limpiados, explorados, unidos, divididos. No sé si soy promedio o no comparado con el resto de la comunidad de ciencia de datos y aprendizaje automático, pero mi intuición es que mis conjuntos de datos son realmente pequeños. ¿Cómo lo ordenarán los no expertos? ¿Eliminar datos (suponiendo que sepan muestrear) a costa de perder la señal?

Estas tres razones se traducen en una serie de problemas en lo que respecta a la calidad de los modelos finales. Más algoritmos y más fácilmente disponibles es algo bueno, pero en este momento tengo fuertes reservas con respecto a su uso por parte de no expertos.

El futuro será diferente con seguridad y no puedo ver exactamente cómo, pero estoy muy entusiasmado con la perspectiva de ello. Pero el uso técnico de estos algoritmos por parte de no expertos, lo dudo. Es lo mismo que decir que cualquier conductor puede reparar un motor. O que cualquiera que coma es un chef.

En este mismo momento estoy llevando a cabo un proyecto de investigación en informática que funciona como una unidad universitaria de 12 semanas además de mis asignaturas estándar. El proyecto implica un procesamiento de lenguaje natural bastante pesado y la evaluación de más de 10 algoritmos de clasificación diferentes en un conjunto de datos que actualmente utiliza más de 80,000 características. Antes de emprender los proyectos, no tenía experiencia en ML o NLP y si no fuera por paquetes como scikit-learn y nltk, estaría jodido más allá de lo imaginable.

Si bien el paquete de estos algoritmos puede abstraer los detalles intrincados de estas implementaciones, su facilidad de uso ha permitido un despliegue rápido y ha permitido que toda una cohorte de estudiantes se base en un campo de investigación previamente limitado, independiente de su experiencia previa. El paquete también proporciona una implementación estandarizada de estos algoritmos que permite que la investigación construida sobre estos fundamentos obtenga resultados coherentes que no pueden confundirse con las elecciones personales de implementación.

En el futuro, puedo elegir revisar el código fuente de estos algoritmos y posiblemente construir el mío, sin embargo, para fines de investigación, los beneficios de su abstracción han superado con creces los aprendizajes potenciales de tener que construir desde cero.

¿Tienes que construir el auto para saber conducirlo?

Yo lo llamaría un peligro. Escribí sobre esto aquí:

https://mathbabe.org/2013/04/04/…

More Interesting

¿Alguien ha trabajado en un algoritmo para predecir la corrupción de los funcionarios del gobierno público utilizando la minería de datos y el análisis predictivo?

Dados los pares 'n1' de corchetes "[]", los pares 'n2' de corchetes "{}" y los pares 'n3' de corchetes "()", ¿cómo podemos encontrar todas las combinaciones válidas posibles de todos estos pares de manera eficiente?

Cómo elegir el algoritmo de selección de funciones correcto

¿Es posible aproximar el comportamiento asintótico de un algoritmo dado su tiempo de ejecución?

¿Por qué la complejidad temporal del siguiente código O (logn)?

Cómo escribir un programa en C para implementar un algoritmo de planificación de prioridades, junto con la visualización del diagrama de Gantt

Cómo encontrar el número máximo de árboles de expansión mínima en un gráfico

¿Qué modelos matemáticos se utilizan en la clasificación IR?

¿Hay alguien que pueda responder esta pregunta?

¿Desarrolla algoritmos comerciales después de volver a probar los datos históricos? ¿O debería buscar a través de datos históricos patrones utilizando un algoritmo?

¿Qué es el desplazamiento binario y por qué lo usamos?

¿Qué algoritmo de búsqueda usa True caller?

¿Cuál es el algoritmo de clave pública y privada?

Cómo ordenar una matriz 2D de tipo char utilizando la función C ++ sort () o qsort ()

Si recientemente completé un campo de entrenamiento y todo lo que queda para conseguir un trabajo es la prueba técnica, ¿cuántas horas serán suficientes los algoritmos de aprendizaje?