¿Cuál es la diferencia entre inferencia y aprendizaje?

Respuesta corta : es más fácil entender esta diferencia aparentemente arbitraria en el contexto de un modelo gráfico probabilístico de variable latente: aprender los valores de las variables latentes para un ejemplo específico es inferencia . Aprender los “hiperparámetros” del modelo para todos los ejemplos es aprender .

Déjame elaborar más:

1. Cuando aprende los parámetros del modelo gráfico, encuentra un conjunto universal de valores para todos sus puntos de datos. Puede ver esto como “aprendizaje” de la topología o la variedad donde viven sus datos (dentro de las restricciones impuestas por el modelo). Está respondiendo la pregunta “¿Qué configuración del modelo explica mejor todos los puntos de datos?”
2. Cuando infiere los parámetros ocultos o latentes, está encontrando instancias de variables ocultas o latentes, específicas de un punto de datos. Comprender estas variables ocultas puede ayudar a hacer predicciones con los datos. Está respondiendo la pregunta “¿Qué valores de las variables ocultas explican este punto de datos?”

Otro ejemplo: Al pensar más en esta distinción, puede ver cómo esto se extendería más allá de los modelos gráficos probabilísticos. En Redes Neuronales Artificiales, el aprendizaje de los pesos (aprendizaje de parámetros) es universal para los puntos de datos y puede verse como un aprendizaje de una buena integración no lineal de los datos. Encontrar los valores de las neuronas de la capa oculta para un punto de datos específico es un problema de inferencia.

Resumen: el problema de “ajustar” el modelo es aprender: por lo general, implica equilibrar delicadamente alguna función de ajuste del modelo y algún tipo de regularización para la generalización. A menudo, usaría un conjunto de datos de validación para este ajuste además de las muestras de entrenamiento. El problema de “explicar” el modelo para una instancia específica es la inferencia. Esto a menudo es necesario para hacer predicciones de su modelo.

Un comentario interesante: ¡ estos problemas están relacionados! La inferencia requiere aprendizaje: para un conjunto fijo de parámetros aprendidos, puede resolver el problema de inferencia, por ejemplo, utilizando la estimación máxima a priorii. El aprendizaje puede requerir inferencia: la tarea de encontrar el mejor conjunto de parámetros depende de su capacidad para caracterizar qué tan bien el modelo para un conjunto fijo de parámetros explica los datos. Esto podría requerir inferencia.

Advertencia : Finalmente, debo señalar que esta terminología no es universal.

Simplificando un poco aquí: son ambos tipos de ajuste del modelo. El aprendizaje simplemente se ajusta a un modelo predictivo por cualquier medio, mientras que la inferencia se ajusta a un modelo predictivo al estimar los parámetros de algún modelo probabilístico. Por lo tanto, el resultado de ajustar una regresión lineal puede verse como inferencia, pero el resultado de ajustar una máquina de vectores de soporte es solo aprender.

La inferencia estadística es un procedimiento que le permite sacar conclusiones sobre los datos y el proceso que los genera a la mano. Después de haber realizado el procedimiento de inferencia, puede hacer preguntas como ‘¿Qué hacer a continuación?’ Por ejemplo, si supuso que los datos son generados por un proceso complejo, puede ajustar un modelo complejo a los datos y luego aplicar controles para asegurarse de que los datos realmente son producidos por un proceso complejo y una descripción más simple del modelo no hacer. Puede implementar pruebas estadísticas para verificar esto para aceptar o rechazar esta hipótesis con cierto grado de confianza.

Como otro ejemplo, puede modelar los datos dados de dos maneras diferentes (no necesariamente un modelo complejo que incluya el más simple) y luego decidir qué modelo ofrece la mejor descripción del proceso que genera los datos. Por lo tanto, puede aplicar cualquiera de las técnicas de selección de modelos para elegir uno de los dos modelos.

Simplificando aquí: dado un modelo estadístico y datos, la inferencia le permite “inferir” generalización útil (hipótesis). La inferencia probabilística generalmente significa calcular la distribución posterior dados los datos. Por ejemplo, la presencia de telaraña (datos / evidencia) puede aumentar la probabilidad de que nadie haya usado esa puerta durante algún tiempo (hipótesis).

Aprender, por otro lado, implica aprender la conexión entre la evidencia y la hipótesis. Por ejemplo, en un modelo estadístico, el aprendizaje puede ser parámetros / pesos de aprendizaje del modelo que minimizan los errores en las observaciones.

Finalmente, en un entorno bayesiano, los parámetros en sí mismos son variables aleatorias y, por lo tanto, también se pueden inferir. El aprendizaje bayesiano es una instancia de inferencia.