Cuando leí esta pregunta, no sé si pude captar totalmente la respuesta deseada. Así que voy a hacer algunas suposiciones antes de dar mis 2 centavos.
Pensé en algunas posibilidades: una con respecto a los problemas sobre la interpretabilidad de los modelos de aprendizaje automático, otra con respecto a la idea de que los algoritmos per se podrían conducir a una situación peligrosa.
Sobre la interpretabilidad del modelo
- ¿Cuál es la diferencia entre una maestría en informática (MS) y una maestría en aplicaciones informáticas (MCA)? Este año busqué una Licenciatura en Aplicación de Computadoras (BCA), ¿qué título debo elegir ahora?
- ¿Cuáles son las ventajas y desventajas de trabajar en una división de investigación frente a una división que no es de investigación en una gran empresa de software?
- ¿Cómo se determina la depreciación de las computadoras?
- ¿Cómo es estudiar EECS en el MIT?
- ¿Cuáles son los mejores chatbots de inteligencia artificial en 2017?
Este es un tema que la academia y la industria seguramente están prestando atención. Pero no por el miedo a dejar que la máquina se haga cargo de una situación dada. En realidad, porque los usuarios finales de negocios y los reguladores eventualmente exigen comprender qué demonios subyace a un resultado dado. Si desea obtener una visión general de algunas iniciativas en torno a este tema, le recomiendo echar un vistazo a esta publicación en el sitio web de O’Reilly
¿Los algoritmos per se pueden tomar malas decisiones?
Si y no.
No estamos tan cerca de la situación de una inteligencia general artificial. Todavía no hay un algoritmo / modelo completo que pueda aprender algo, en un entorno no estacionario y adaptarse a sí mismo en respuesta a él. Casos notorios como AlphaGo / DeepBlue / Jeopardy están específicamente diseñados para sus dominios.
Los casos de “malas” decisiones que vale la pena mencionar son los bloqueos de Flash en 2010/2015 y recientemente el chatbot de MS aprendiendo a ser racista, pero el verdadero problema que lo rodea no es un algoritmo per se. En el caso del aprendizaje automático, podríamos derivar fácilmente una situación en la que un modelo de puntaje de crédito no tan complejo podría encontrar que alguna etnia sería constantemente discriminada sobre las demás.
Pero nuevamente, sucedió no porque alguien decidió usar el algoritmo 1 sobre el algoritmo 2. Sucedió porque en algunas situaciones inesperadas los algoritmos enfrentaron una mala situación en la que una intervención humana lo resolvería fácilmente.
Los algoritmos son exactamente lo que son: una secuencia de acciones a realizar bajo un esquema preestablecido. Lo mismo sucede con los modelos de aprendizaje automático.
Si se aplica incorrectamente, incluso el modelo más simple podría conducir a situaciones terribles.
