¿Fallarán todos los modelos de aprendizaje automático en este conjunto de datos?

Voy a suponer que le dará al algoritmo las entradas como decimales, truncadas a algunos dígitos después del decimal mayor que [math] N [/ math]. En ese caso, el problema no parece tan difícil.

Tratemos de ver de dónde proviene la complejidad en el aprendizaje: para una tarea determinada, si la representación de la entrada es tal que en el espacio dado, las entradas que están lo suficientemente cerca tienen etiquetas diferentes con bastante frecuencia, entonces el algoritmo de aprendizaje necesita mapear los datos a otro espacio donde los puntos de datos son más separables . Encontrar este mapeo no es trivial y, a menudo, es la razón de la complejidad. Este es también el llamado “aprendizaje de características”, ya que las dimensiones del nuevo espacio pueden considerarse como características a aprender.

Ahora, en la tarea dada, dos números reales que están muy cerca probablemente tendrán los mismos primeros dígitos [matemáticos] N [/ matemáticos] (la mayoría de las veces). Entonces, con una cantidad suficiente de datos de entrenamiento, un algoritmo como k vecinos más cercanos con k = 1 debería funcionar razonablemente bien aquí. De manera similar, SVM predice la etiqueta promedio de los puntos cercanos al punto de prueba dado; por lo que también debería hacer un buen trabajo con el kernel RBF.

Los algoritmos que solo pueden aprender límites de decisión lineales obviamente no funcionarán bien, ya que los datos no son linealmente separables. Para algoritmos como las redes neuronales, es difícil decir a priori cómo funcionará, porque no son muy interpretables, pero supongo que también deberían funcionar bastante bien, dado que la tarea no es tan difícil como otras tareas complejas resuelto con éxito por estos algoritmos.

Así es como se ve el problema con [matemáticas] N = 2 [/ matemáticas] (el primer eje es el primer decimal, el segundo eje es el segundo decimal):

El paisaje es similar para dimensiones superiores. Hasta donde puedo ver, con las técnicas clásicas de aprendizaje automático, la única forma posible de resolver el problema con una precisión del 100% es tener todas las combinaciones posibles en el conjunto de entrenamiento y usar una tabla de búsqueda (o más generalmente un vecino 1-NN). Sin embargo, esto se vuelve exponencialmente más difícil a medida que aumenta [matemática] N [/ matemática].

Básicamente, la razón de esto es que la distancia euclidiana es altamente defectuosa en este caso. De hecho, casi cualquier métrica posible es mala. Solo se me ocurre una posibilidad: podemos decir que dos puntos están “cercanos” en este espacio si el módulo de su distancia de Manhattan es uniforme (bueno, básicamente estoy haciendo trampa). Si define un núcleo con esta propiedad, imagino que un SVM puede funcionar razonablemente mejor. De hecho, una de las cosas buenas de los métodos del núcleo es que puede insertar este tipo de conocimiento a priori en el problema.

Puede demostrar matemáticamente que una red neuronal con dos capas y funciones de salida sigmoideas puede aproximar cualquier función continua a la precisión que necesita.

Puedes probarlo fácilmente con esta pequeña red neuronal en Python:

Una red neuronal en 11 líneas de Python (Parte 1)

Si tiene problemas para escribir el código para generar los datos, deje un comentario y lo agregaré por usted.

Si N es un entero fijo, entonces la clasificación solo depende del número de dígitos pares e impares en el número. Entonces, un simple truco de ingeniería de características convierte el conjunto de datos en dos columnas: #of_odd_digits, #of_even_digits y luego creo que cualquier algoritmo puede aprender rápidamente a clasificar los números.

Si no desea utilizar la ingeniería de características y los datos sin procesar, funcionará un árbol de decisión simple, por ejemplo para N = 3:

si el primer dígito es impar y el segundo dígito es impar y el tercer dígito es impar, entonces 1

si el primer dígito es impar y el segundo dígito es impar y el tercer dígito es par, entonces 0

si el primer dígito es impar y el segundo dígito es par y el tercer dígito es impar, entonces 1

…

etc.

Puede dibujar rápidamente el árbol de decisión para cualquier valor fijo de N.

Tal vez me estoy perdiendo algo …

No creo que haya un modelo de aprendizaje automático que pueda resolver este problema sin una ingeniería de características adecuada (como lo propone Luis Argerich, pero esto supone que tiene algunas ideas sobre el modelo subyacente) o algún tipo de “aprendizaje de memoria” (el 1 -NN solución propuesta por Simone o la solución por Tobias, que básicamente utiliza una red neuronal compleja posiblemente infinita para recordar muestras de entrenamiento). Probar esto podría requerir conocimiento de la teoría del aprendizaje.