¿Cómo se relacionan entre sí las redes bayesianas, los MDP y las redes neuronales? ¿Cómo se usan?

Redes neuronales artificiales
ANN intenta estimar la respuesta a un problema. Por ejemplo, pueden responder a problemas de clasificación. El ANN devolverá una probabilidad para cada clase. La clase con la probabilidad más alta es la respuesta más probable. Del mismo modo, un problema de sí / no es un problema con solo dos clases.

Un experto necesita crear un modelo para analizar los datos.

Un modelo tiene una lista de características o características. Un ejemplo de una característica podría ser: ¿hay una mayoría de píxeles rojos en la imagen? ¿Hay una mayoría de píxeles azules?

Todas estas características crean el vector de características que podría verse así [00010001010111] Donde 0 es no y 1 es sí, no está limitado a 1 y 0, también puede tener 4,5 … lo que representaría una clase. Digamos que tiene una base de datos con 10 clases de formas: un cuadrado sería 0, un círculo sería 1, un triángulo sería 2, etc.

En esencia :
Cada fila de su conjunto de datos es una entrada de datos. Para cada entrada de datos, debe procesarla de una manera que le proporcione su vector de características específico.

Alimenta ese vector de características con la respuesta conocida para esta entrada de datos (conjunto de entrenamiento).
Su red neuronal se ajustará y aprenderá cuál es la mejor función de elección para maximizar las elecciones correctas.
Luego puede alimentar nuevos datos (su vector de características) sin la respuesta conocida y el ANN intentará adivinar la respuesta correcta.

Tenga en cuenta que su ANN es tan buena como el modelo para el preprocesamiento del vector de características.

– Procesos de decisión de Markov
Dado un modelo específico, el MDP intenta predecir su estado futuro en función de su último estado y su última acción. Tenga en cuenta que después de cada acción, el tomador de decisiones recibe una recompensa. El algoritmo intenta decidir el mejor curso de acción para maximizar la recompensa.

En su modelo, necesita un gráfico de todos los estados, todas las acciones posibles para cada estado y una matriz de probabilidad de transición: probabilidad de ir al estado s2 desde el estado 1 eligiendo la acción a1. También necesita el valor de recompensa de la transición del estado s_i al estado s_i + 1.

– Modelos ocultos de Markov
Para HMM, tiene una gráfica de estados. Una probabilidad de transiciones de estado. Cuando pasa del estado i al estado k, el HMM emite un símbolo con probabilidad j. En un HMM, los estados siempre están ocultos y no se pueden observar. Sin embargo, puede emitir el ‘estado de adivinanza’ como símbolo de emisión.

Estando en el estado i, si tiene observación y, tiene v posibilidad de emitir el símbolo w.

– Redes bayesianas
Donde los modelos de Markov solo basaron su resultado en el último estado (una variable), la red bayesiana basó su resultado en n variables. En una red bayesiana, puede hacer preguntas como cuál es la probabilidad de z dado que w, k, z.

Por lo que puede ver, todos esos algoritmos de ML están relacionados, pero son ligeramente diferentes. ANN está en su propia clase, mientras que MDP, HMM y BN están estrechamente relacionados.

Te recomiendo que aprendas (1) regresión lineal -> regresión logística -> ANN
Luego (2) Cadenas de Markov -> MDP -> HMM -> BN

Este curso se encarga de (1) Coursera
Vea esta página en Otago para Markov Chains & HMM