¿Por qué es importante aprender el descenso de gradiente en el aprendizaje automático?

A2A.

No necesita conocer el descenso de gradiente para la regresión lineal, pero en general, para optimizar funciones objetivas arbitrarias, el descenso de gradiente o una de sus variantes es el algoritmo de facto.

Aquí hay algunas razones por las cuales usar una biblioteca para optimizar funciones arbitrarias no siempre es la mejor:

  1. A menos que proporcione a la biblioteca la función objetivo y la función de gradiente, podría ser bastante lenta, ya que aproximar el gradiente de la función objetivo podría ser computacionalmente costoso. Entonces, si necesita proporcionar la función objetivo y una función de gradiente, ya ha realizado la mayor parte del trabajo necesario para escribir un algoritmo de descenso de gradiente.
  2. Obtienes un mejor control del algoritmo. La mayoría de las bibliotecas, por ejemplo, no le permitirán controlar cómo se reduce el tamaño del paso.

Y el descenso de gradiente es uno de los algoritmos más simples en el aprendizaje automático. Entonces no, no deberías saltarte.

No lo omita de ninguna manera. Partiendo de la respuesta de Prasoon Goyal aquí, Gradient Descent es una herramienta poderosa y puede ajustarla para optimizar CUALQUIER función objetivo y cualquier hipótesis establecida siempre que tenga alguna noción de gradiente.

Hay varias ideas que se basan en esto y es una pieza fundamental y fundamental de Machine Learning. Para darle una idea, Gradient Descent y sus variantes son la mejor herramienta que tenemos para aprender Redes neuronales que son muy, muy grandes hasta el día de hoy. Es el “estándar de la industria” en este sentido.

No puede obtener una solución de forma cerrada para la regresión lineal regularizada L1.

Aparte de eso, el descenso de gradiente es una técnica general: si lo sabe, en principio puede resolver cualquier problema de ML que venga con una función de error diferenciable.

Gracias por el A2A.

No tiene que comprender el funcionamiento del descenso de gradiente para la regresión lineal. Pero lo ayudaría a tener su base correcta y también puede ayudarlo a proponer otra dirección o solución.

En mi opinión, no debe omitirlo, ya que es bastante simple de entender. Y proporcionará una base para lo que vendrá.

Prasoon Goyal ha cubierto bien el punto.

Espero que esto ayude

More Interesting

¿Debo hacer un gran proyecto de investigación de aprendizaje profundo con mi propio dinero (y tiempo), sin que me paguen, solo para que alguien pueda contratarme debido al trabajo?

¿Qué conocimiento se requiere para la pasantía de ML como estudiante universitario de CS?

¿Qué componentes de hardware (CPU, RAM, GC, etc.) se necesitan para que una PC / computadora doméstica de aprendizaje automático / aprendizaje profundo funcione rápidamente?

¿Cómo ganan dinero las startups de aprendizaje profundo o aprendizaje automático?

¿Hay nueva información sobre el tema X o la gente sigue copiando y pegando?

¿Cuándo se lanzará sklearn 0.18?

¿Qué es la inteligencia artificial? ¿Cuáles son los sujetos si queremos estudiar inteligencia artificial?

¿Cómo aprenden los algoritmos de aprendizaje automático de los datos?

¿Vale la pena seguir una maestría en aprendizaje automático de NCSU? ¿Es una mejor opción solo por el triángulo de investigación?

¿Quiénes son algunos de los mayores usuarios de Apache Hive? ¿Cuáles son sus casos de uso? ¿experiencias?

¿Cuáles son algunos buenos recursos para aprender sobre el control y la optimización de procesos sin modelos?

¿Cuáles son los trabajos más gratificantes para quienes desean trabajar en el aprendizaje profundo?

¿Qué piensan los científicos de los expertos en SEO?

¿Se están realizando estudios actuales que utilicen la minería de datos o el aprendizaje automático en campos científicos?

Cómo construir una aplicación para educación