Para cualquier problema computacional, hay muchas formas diferentes de evaluar la calidad de la solución. Incluyen, pero no se limitan a:
1. precisión
2. velocidad
3. Robustez
4. Escalabilidad
5. Interpretabilidad / Transparencia
1. Precisión: la tasa de error del reconocimiento de caracteres escritos a mano ha estado por debajo de medio punto porcentual desde 2004. Wikipedia tiene una tasa de error de 0.21% ahora Wikipedia: MNIST
2. Velocidad: a medida que se utilizan algoritmos más complejos como las redes neuronales, la velocidad de cómputo tiende a aumentar; sin embargo, los análisis pueden ejecutarse distribuidos o en paralelo, lo que también reduce la velocidad. Además, con el análisis del lado del servidor, aplicaciones como Google Goggles ofrecen un reconocimiento razonable de imágenes en segundos.
- ¿Los modelos de aprendizaje automático en automóviles sin conductor utilizan aprendizaje supervisado, no supervisado o de refuerzo?
- ¿Cómo funcionan las representaciones distribuidas de escasez fija defendidas e implementadas por Numenta?
- Además de las redes neuronales profundas, ¿existen antecedentes para cálculos largos con una inferencia máxima a posteriori eficiente?
- ¿Cómo resolverías el siguiente diagrama de perceptrón?
- ¿Se pueden anotar videos usando el aprendizaje automático?
3. Robustez: se refiere a la tolerancia a fallas de los algoritmos. Por ejemplo, cuando la imagen se ve comprometida, hay problemas de desenfoque o de fondo, etc. Un ejemplo clásico de dónde la robustez es un problema es el reconocimiento automático de matrículas. Según Parking Trend International, si bien los proveedores cuentan con una tasa de error del 2%, los clientes informaron una precisión del 6% -10% en Wikipedia 2008: reconocimiento automático de matrículas
4. Escalabilidad: se refiere a la facilidad con que el modelo creado se puede aplicar a una cantidad creciente de datos. Consideraría que OCR es escalable. Considere el gran tamaño del conjunto de datos Ngram de los libros de Google.
5. Interpretabilidad / Transparencia: se refiere a cuán explicables son los resultados, usando la lógica. Esto realmente no cuenta en este contexto porque realmente no nos importa cómo llegó el sistema a la respuesta, solo necesitamos un período de transcripción perfecto.
