¿Hay alguna manera de probar el límite de precisión teórica para clasificar un conjunto de datos en particular? O, ¿hay alguna forma de confirmar que la calidad de los datos es insuficiente para un problema?

¿Ha determinado si el problema es con un alto sesgo (falta de ajuste) o una alta varianza (exceso de ajuste)?

Si encuentra que su error de entrenamiento y error de prueba son altos, esto indicaría un problema de alto sesgo. Esto podría significar que los datos no contienen la información suficiente para hacer buenas predicciones o que el modelo no es lo suficientemente complejo (por ejemplo, tratando de ajustar una línea recta a una función polinómica). Si aún no ha probado la regresión polinómica, la SVM o las redes neuronales, valdría la pena intentarlo, si todavía no llega a ninguna parte con modelos complejos, entonces probablemente tenga razón en que las características no contienen los datos necesarios para buenas predicciones.

Si tiene un error de entrenamiento bajo pero un error de prueba alto, esto indicaría una variación alta. Suponiendo que ha probado los controles más obvios, como la regularización y los modelos simplificados para reducir el sobreajuste, es posible que necesite más ejemplos de capacitación para poder adaptarse a un buen modelo.

Piense en el ruido en sus datos; por ejemplo, en los problemas de firma manual, no hay dos muestras iguales. Esto se debe al control motor humano y otros aspectos fisiológicos. ¿Se puede modelar de alguna manera el ruido en su sistema? En caso afirmativo, intente crear muestras sintéticas con mucho menos ruido (pero asegúrese de utilizar las mismas características / distribución de los datos originales).

Si su modelo puede predecir la etiqueta en estos, entonces probablemente esté en el camino correcto y solo tenga que encontrar una manera de manejar el ruido. Si no, entonces su modelo no se adapta al problema o su tarea es imposible de realizar.

La forma teórica de hacer esto es medir el límite de generalización dependiente de la distribución (o, mejor aún, el límite transductivo), generalmente realizado en estos días utilizando la complejidad de Rademacher

La forma práctica de hacer esto:

Construir un modelo basado en los datos.
Probar el modelo en datos conocidos pero donde aleatorizó las etiquetas
Mida la precisión de validación en estos datos falsos.

Esto le permite estimar el límite superior en la precisión de generalización

Repita con todos los núcleos y / o características que pueda imaginar

Eso es lo mejor que realmente puedes hacer

Si hay interés, puedo describir esto con más detalle en mi blog.

A veces, los algoritmos de aprendizaje automático altamente sofisticados pueden actuar como generadores de números aleatorios muy caros. Esto puede suceder si no hay forma de predecir los datos de la prueba en función del conocimiento de los datos de entrenamiento. Para una detección o verificación, la curva ROC para salida aleatoria es una línea recta con un EER del 50%. Entonces, podría mostrar a sus colegas que los algoritmos no funcionan mejor que las conjeturas aleatorias.

Las curvas ROC pueden decirle bastante sobre este tipo de problema si aún no las ha mirado.

Me gusta la respuesta de Davis King: cómo extraer características de sus datos es fundamental y puede requerir un conocimiento íntimo del dominio.

Hola, mencionaste que habías probado varios algoritmos de aprendizaje automático y descubriste que no hay resultados deseados. ¿Quiere decir que había entrenado un modelo en un conjunto de entrenamiento y probado el modelo en un conjunto de prueba?

Si eligió buenos hiperparámetros y obtuvo un mal resultado, ¡significa que el modelo no es correcto!

Bueno, que un modelo no funcione bien significa muchas cosas.

1. Es posible que exista una gran cantidad de ruido en sus datos y sus modelos elegidos son sensibles a los datos ruidosos en qué condición puede necesitar preprocesar sus datos.
2. Su modelo no es adecuado para sus datos. Tal vez sus modelos elegidos son modelos lineales, sin embargo, sus datos no son linealmente separables.
3. La propiedad de sus datos es difícil de abordar. Los datos pueden ser de alta dimensionalidad o dispersos. Por lo tanto, es posible que deba agregar un término de regularización u otros métodos de limitación complejos del modelo a su modelo.