El conocimiento de lo interno puede significar dos cosas:
a) ¿Qué significa el parámetro 57 en la inclusión de palabras de “burro”?
b) ¿Qué estamos tratando de entrenar? ¿Cuál es nuestra función de costo? ¿Cuál es nuestro algoritmo de optimización?
- ¿La IA tradicional se está volviendo obsoleta a la luz del progreso en el aprendizaje profundo?
- Cómo comenzar con la visión por computadora
- ¿Qué recursos sobre modelos gráficos se recomiendan para los estudiantes de aprendizaje automático que desean ingresar al campo?
- ¿Cuáles son las unidades de análisis utilizadas en el reconocimiento de voz automático?
- ¿El rendimiento de la regresión logística se ve afectado negativamente por características altamente correlacionadas?
En el caso b) sabemos todas estas cosas. Sabemos que estamos tratando de predecir la palabra entorno. Estamos utilizando el modelo más simple posible para eso. El objetivo es la probabilidad logarítmica de la predicción. La optimización es el descenso de gradiente estocástico.
También puedes encontrar las mejoras. Por ejemplo, puedes ver que softmax en la predicción es demasiado grande. Entonces, el matemático propuso una estimación de contraste de ruido, que es mucho más rápido.
En ML, las personas generalmente tienen cierta intuición de lo que está sucediendo. Y en base a eso, proponen una versión mejorada de los modelos ML. Algunas veces funcionan y otras no.
