¿Cuáles son las limitaciones / reglas de lo que el aprendizaje automático no puede hacer?

Las técnicas de aprendizaje automático intentan imitar el “juicio” como se demuestra en los conjuntos de datos de entrenamiento.

Como tal, incluso las variedades más potentes de aprendizaje automático están limitadas por la calidad y los escenarios cubiertos por el conjunto de datos del que están aprendiendo.

Para hacerlo aún más problemático, hay poco control sobre lo que sucede una vez que el conjunto de datos de entrenamiento se introduce en el motor. Vea a continuación una caricatura obligatoria de XKCD:

En una nota más seria, el legendario Peter Norvig de Google enfatiza la necesidad de encontrar mejores herramientas de depuración para los sistemas de aprendizaje automático.

Figuras de alto nivel en DARPA destacaron los mismos problemas. Según Arati Prabhakar:

“El problema es que cuando se equivocan, se equivocan de manera que ningún humano se equivocaría nunca”, dijo, y proporcionó una imagen de un bebé con un cepillo de dientes que una máquina identificó como un bate de béisbol. “Creo que esta es una precaución de importancia crítica sobre dónde y cómo usaríamos esta generación de inteligencia artificial”.

Otro funcionario de DARPA, el entonces director de DARPA I2O, John Launchbury, publicó un video que describe su perspectiva sobre la IA. A los 13 minutos aproximadamente, Launchbury sugiere cómo llevar la IA al siguiente paso; en pocas palabras, es un enfoque híbrido que agrega lógica basada en reglas en la parte superior de las rutinas de aprendizaje automático. Por ejemplo, en lugar de reconocer un objeto agregado complejo como un gato que usa aprendizaje automático puro, quiere reconocer la suma de bigotes, patas, ojos, oídos, etc.

Creo que este es un ejemplo simple, pero en realidad confunde a mucha gente en la vida real.

¿Cuándo debería usar herramientas estadísticas tradicionales como la media (promedio, IQR …) que las técnicas de aprendizaje automático (regresión logística básica, aprendizaje profundo, SVM HMM, etc.)?

De hecho, se me ocurrió esta pregunta, pero creo que está bastante claro que es difícil trazar el límite. Aún así, en un escenario simple, las personas tienden a usar métodos de aprendizaje automático altamente complicados que algo que es muy sencillo.

El aprendizaje automático es útil en escenarios estadísticos muy grandes (como identificar algo en una imagen, jugar Go, precios de acciones) que aquellos con poca y baja información dimensional disponible (como predecir el promedio de calificaciones de John el próximo semestre)

El aprendizaje automático no puede violar el teorema de incompletitud de Godel y, por lo tanto, no puede violar la teoría de la computabilidad de Turing.

El aprendizaje automático depende casi por completo de la separación lineal, ya sea local o global. Los problemas que están entretejidos no se pueden separar y, por lo tanto, no se pueden resolver.