Informalmente, los grupos de Lie son grupos continuos de simetrías. Por ejemplo, el grupo de rotaciones del círculo unitario es un grupo de Lie, ya que podemos rotar el círculo en cualquier grado y permanece invariable.
Un grupo es un conjunto combinado con una operación tal que cualquier elemento del grupo operado con cualquier otro elemento todavía está en el grupo, existe un elemento de identidad y para cada elemento existe un inverso. (También la operación es asociativa).
En una máquina de Turing, hay una cinta, un cabezal y un controlador. La cabeza mira un punto discreto de la cinta a la vez y el controlador “decide” si leer o escribir en esa posición en la cinta, y si mover la cabeza hacia la derecha o hacia la izquierda.
- Cómo calcular la ganancia de información para cada atributo si estoy diseñando un árbol clasificador de decisiones con nodos binarios en cada derrame
- Cómo comenzar a aprender redes neuronales y aprendizaje profundo
- ¿Cómo aplicamos el algoritmo de agrupamiento k-means para datos mixtos numéricos y categóricos?
- ¿Alguna vez has observado que la normalización por lotes en realidad ralentiza el entrenamiento?
- ¿Por qué el aprendizaje en estructuras de datos complejas (gráficos, árboles, etc.) está tan poco representado en el aprendizaje automático?
Esto admite la indexación relativa, ya que el movimiento a lo largo de la cinta corresponde a la acción grupal de suma en los enteros. Sin embargo, en una máquina de Turing neural , en lugar de generar acciones, el controlador genera distribuciones sobre posibles acciones para hacer que el sistema sea diferenciable. Esto significa que la estructura del grupo desaparece, por lo que no se admite la indexación relativa.
Las máquinas de Turing neural de acceso a mentiras generalizan la acción grupal continua de moverse alrededor de la cinta en una máquina de Turing a una acción grupal continua a través de grupos de mentiras. Volviendo al ejemplo del círculo, ahora, en lugar de que el controlador especifique cuántos pasos discretos hacia adelante o hacia atrás, puede dar un grado para dar la vuelta al círculo.
¡Lo bueno de esto es que ya no necesitamos generar distribuciones de probabilidad ya que los grupos de Lie ya son diferenciables! Así que este es realmente un documento impresionante, y abre muchas oportunidades para usar redes neuronales para la indexación relativa.
