¿Debería leer libros orientados a la matemática y la teoría o libros orientados a la aplicación sobre aprendizaje automático?

Sin conocer ningún detalle, esta pregunta es muy difícil de responder. Sin embargo, intentaré dar algunos consejos generales que pueden o no aplicarse a usted.

Si puede encontrar cualquier investigación de aprendizaje automático en un área similar a las aplicaciones que desea estudiar, lo estudiaría primero. Por ejemplo, mire Deep Blue to AlphaGo si desea estudiar el aprendizaje automático como se aplica a la teoría de juegos. O observe los intentos de modelado de redes neuronales si desea estudiar el aprendizaje automático tal como se aplica a la neurología humana y mecánica. Estos están orientados a la aplicación, aunque dependiendo de la publicación también pueden contener algo de teoría.

Si solo desea una comprensión general del aprendizaje automático, primero adhiérase a la teoría y luego profundice en cualquier aplicación que le interese específicamente.

Sugeriría mirar a ambos. La teoría lo ayudará a comprender la maquinaria detrás del algoritmo, pero la aplicación puede ayudarlo a desarrollar la intuición de cómo funcionarán los algoritmos en el mundo real. Los Elementos del aprendizaje estadístico tienen una buena combinación de estos y probablemente sea accesible si tienes un título en matemáticas.