¿Cómo mejorar mis habilidades de depuración en el aprendizaje automático? A menudo me resulta difícil entender por qué un modelo se comporta de cierta manera. ¿Cómo depuran rápidamente los grandes científicos de datos?

La depuración de un modelo no es tarea fácil. Ciertamente no soy un experto en esto, pero creo que ayuda mucho si entiendes un poco la teoría.

Cualquiera puede arrojar datos a una máquina y ver qué sale. Pero una comprensión rudimentaria de cómo funcionan las redes neuronales profundas puede ayudarlo a trabajar mejor. Aquí hay algunas debilidades de los aprendices profundos que conozco.

  1. Los núcleos Sigmoid y Tanh pueden estar muy activos o totalmente inactivos demasiado rápido. Relu puede quedarse atascado en cero.
  2. el aprendizaje profundo utiliza la propagación hacia atrás y puede atascarse en un mínimo de error local
  3. Si una parte de un problema depende de otra parte, entonces puede que no tenga sentido tratar de aprender todo el problema. Por ejemplo, si los puntajes de golf de Tiger Woods dependen del clima y de una serie de otros parámetros, es posible que queramos dividir el problema en variantes para cada tipo de clima para que otros vectores no se borren por la importancia de este enormemente importante. .
  4. Sobreajuste