En realidad, esa es una de las cosas hermosas (en mi humilde opinión de años de pensar en estas cosas) sobre las redes neuronales: literalmente, puedes “doblarlas” para que se parezcan mucho a casi cualquier otro algoritmo de aprendizaje automático (ML) un grado)
Mi ejemplo favorito, especialmente cuando enseño redes neuronales a aquellos que tienen un poco de experiencia en ML pero poco conocimiento de redes neuronales, es exactamente el que hace una pregunta: ¿Sabía que si entrena una red neuronal de capa no oculta con activación de identidad? salidas (por lo que es efectivamente ay = W * x + b modelo lineal, digamos el número de salidas> 1 para hacer esta clasificación de varias clases) y con la bisagra-pérdida de varias clases (estilo Crammer y Singer, como I defendí aún más en mi trabajo hace algunos años) y una penalización de regularización L2, efectivamente está entrenando una máquina de vectores de soporte de núcleo lineal (en el primario), ¿siempre que esté haciendo un descenso de subgraducto adecuado? Entonces, siempre que agregue el término de regularización, en cierto sentido lo hará. En lugar de que yo haga los cálculos por usted, permítanos que Andrej Karpathy le muestre el camino en este módulo de su curso:
CS231n Redes neuronales convolucionales para reconocimiento visual
- ¿Qué está haciendo Wavii con el aprendizaje automático para redefinir cómo se realiza la búsqueda en la web?
- ¿Cuáles son las lecciones del desafío del Premio Netflix?
- ¿Las redes neuronales son solo clasificadores lineales vinculados con no linealidades?
- ¿Es posible mejorar automáticamente el archivo digital de una canción mediante muestreo y aprendizaje automático?
- Andrew Ng: ¿Qué opinas de AlphaGo?
Descubrí que lo hizo años después de mi propia realización personal de este puente entre SVM y redes neuronales (y me alegro de que haya presentado este punto de vista). [Tenga en cuenta que, sin embargo, es mucho más difícil “doblar” una red neuronal para que se comporte como un SVM con un núcleo más avanzado / no lineal.] Si profundiza en los clásicos, también puede entrenar redes neuronales para que funcionen como reducción de dimensionalidad algoritmos, HMM aproximados y otros modelos gráficos interesantes, etc. E incluso hoy en día, alguien descubrió algo que una vez tuve un debate divertido hace aproximadamente 1.5 años:
http://www.cv-foundation.org/ope…
Ahora tenemos nuestra conexión con árboles de decisión / bosques aleatorios. ¡Una buena conexión con el trabajo de Leo Breiman, de hecho!
Cada vez que enseño mi propio curso sobre el tema algún día, definitivamente trataré de mostrarles a los estudiantes las hermosas conexiones a través de los diversos algoritmos en ML =]
