¿Qué tan importante es la teoría en el aprendizaje automático?

Creo que su respuesta está en sus detalles cuando dice “A veces la heurística funciona mejor que el algoritmo que tiene respaldo teórico”.

Si bien esto es cierto, ¿cómo sabe que la heurística es mejor que un algoritmo preexistente? Mi proceso de pensamiento es que no se sale de la caja, por lo que debe evaluarlo con otros algoritmos. En cierto modo, simplemente está agregando ese modelo de heurística al proyecto, con suerte evaluándolo de la misma manera que lo está haciendo con los otros modelos competidores.

Si me preguntas, en un entorno que no sea de investigación, la teoría, particularmente en la teoría del aprendizaje automático en profundidad, es menos relevante que comprender ampliamente cada algoritmo que utilizamos. Le doy el sombrero a las personas que investigan, pero para mí, el usuario, siempre y cuando comprenda lo que hace el algoritmo, sus limitaciones y suposiciones, es tanto como sea necesario.

Y esto vuelve a su pregunta porque sé una cosa que los investigadores no saben, que son las limitaciones comerciales. Por ejemplo, uno de nuestros analistas escribió un algoritmo para la detección de fraudes debido a restricciones comerciales. Podría haber usado otros algoritmos, pero ningún algoritmo cumpliría con las especificaciones comerciales. Pero la única forma de saberlo es, como mínimo, conocer la teoría, aunque no sea en profundidad, de los algoritmos competidores, evaluar y validar.

Espero que esto ayude.

Esta es una pregunta interesante. Vayamos hace un siglo y veamos el concepto de algoritmo.

Todos sabemos lo que es un problema . Es posible que no podamos definirlo o describirlo, pero en el fondo todos sabemos qué es un problema.

También sabemos qué es una solución . Una vez más, es posible que no podamos definirlo o describirlo, pero todos sabemos qué es una solución y la conocemos cuando la vemos.

Entonces, ¿cómo podríamos pedirle a las máquinas que nos resuelvan problemas? Muchas personas siguieron tu enfoque. Definieron el algoritmo y dijeron que si podemos dar un algoritmo, una máquina puede resolverlo .

Esto es bueno, pero tiene algunos defectos. Considere esto: ¿Cómo sabemos cuándo podemos o no dar un algoritmo? bueno, todos sabemos cuándo podemos dar un algoritmo, pero si no podemos, ¿cómo podemos estar seguros si el caso es que no podemos dar un algoritmo o si este problema no se puede resolver con algoritmos?

No podemos a menos que tengamos la teoría.

O, una mejor pregunta, ¿cómo podemos asegurarnos de que nuestro algoritmo sea el mejor y que no sea posible hacerlo más rápido? Nuevamente, necesitamos teoría .

Todas estas preguntas podrían aplicarse al aprendizaje automático. ¿Cómo sabe si no puede pensar en una forma de entrenar su máquina o si no es posible utilizar los métodos que conoce? ¿ O cómo sabes si no puedes acelerar tu algoritmo usando cambios menores?