¿Debería evaluarse un modelo de red neuronal en función del porcentaje de pronósticos que hacen una predicción correcta, en lugar de medidas basadas en términos de error?

Tomemos una situación. Construí un sistema capaz de escribir texto. Está funcionando bien, así que decido usarlo como escritor profesional. Me pregunto entre dos modelos de negocio:

1. No quiero verificar y corregir los textos antes de enviarlo.
2. Quiero enviarlo de todos modos.

Digamos que le pedí a mi robot 100 textos. En general, 10 palabras son errores.

De nuevo hay dos casos:

• Cómo usar mi software de reconocimiento de objetos para ayudar a otros
• ¿Qué debe suceder si a alguien se le asignan asientos en IA y se le considera asesoría universitaria en la segunda ronda del NEET 2017?
• ¿Cómo construirías un robot para responder preguntas sobre Quora?
• ¿Cómo se puede usar TensorFlow para el aprendizaje profundo?
• ¿Cómo era Deep Blue tan bueno en el ajedrez?

1. Los errores son escasos : no más de 1 error por texto
2. Los errores están agrupados : el texto generalmente contiene cero o muchos errores.

¿Puedes ver que esos dos casos de error tienen implicaciones muy diferentes dependiendo de mi situación?

• Comprobaré: entonces, de hecho, el tiempo que pasaré dependerá de cuántas palabras sean erróneas. Ser escaso o agrupado no cambia mucho. Quiero minimizar la métrica ” Errores generales = 10 ”
• No comprobaré: entonces me gustaría deshacerme de los textos erróneos y vender directamente uno bueno. En este caso no quiero evitar tener errores dispersos. Si tengo 10 errores generales, 1 en 10 textos diferentes, tengo que tirar 10 textos a la basura. Si se producen los 10 errores en el mismo texto, solo arrojo 1. Por lo tanto, quiero minimizar el ” Número de texto erróneo “, reduciendo así la falta de error.

Ambas situaciones son habituales en ML, debe saber si quiere “Perfecto o nada” o, en su lugar, “Lo mejor posible en general”.

Tanto su sugerencia tendría sentido. Para ser más precisos, intuitivamente, el% de pronóstico tiene más sentido para un escenario discreto. Para datos continuos, la pérdida debe estar relacionada con la distancia entre predicción y verdad, por lo tanto, no lejos de ser el% de predicción correcta.

Como consejo, diría que vale la pena (y probablemente subestimado) pasar tiempo entendiendo las métricas. Usted puede preguntar qué se calcula realmente?

• ¿Es una probabilidad? y tipo de tasa ? Una puntuación ?
• ¿Es la métrica lineal? ¿Iniciar sesión? ¿Exp?
• ¿está limitada la métrica? [0, 1], [0, + inf [,] -inf, 0]
• ¿logras tener una intuición de tu métrica? por ejemplo, si obtiene un puntaje de 75, ¿significa que su modelo tiene un 75% de tiempo verdadero? ¿incorrecto? ¿Significa que duda entre 75 opciones?

Espero eso ayude