¿Es justo evaluar una red neuronal profunda solo de acuerdo con su rendimiento en algunos conjuntos de datos específicos?

Depende. La utilidad de las IA depende mucho de su rendimiento, es por eso que los documentos tendrán que centrarse en una IA utilizable con inteligencia correcta frente a una IA súper lenta, apenas utilizable y con buena inteligencia.

Si está construyendo redes neuronales para entrenar para un propósito específico como lo hice, entonces no me preocupé demasiado por el rendimiento, ya que mi objetivo era lograr una precisión del 95% o superior y el conjunto de datos es lo suficientemente pequeño (rango de cientos de miles) para no me importa el rendimiento en absoluto.

Si quieres construir Alpha Go donde analiza todos los movimientos posibles en un juego de mesa infinitamente más complejo, entonces no es bueno si la IA pasa demasiado tiempo (como 2 días) para hacer un movimiento. Dado que los algoritmos tienden a exagerar la complejidad del tiempo de ejecución a medida que crecen los datos (es decir, si tiene dos algoritmos, uno con O (n), uno con O (n ^ 2) y utilizando solo 20 conjuntos de datos, cada uno se ejecutará aproximadamente al mismo tiempo, pero si tiene 2 mil millones de conjuntos de datos, uno toma minutos y otro puede tomar siglos), querrá centrarse en el lado del rendimiento del algoritmo al publicar documentos para que las personas puedan implementar su idea y usarla.

Por ejemplo, hay dos modelos llamados A y B. La pérdida de prueba de A en cifar-10 es del 9%, mientras que la pérdida de prueba de B en cifar-10 es del 10%. Pero el tamaño del parámetro de B es mucho menor que A. ¿Qué modelo es mejor en este caso? Lo que quiero decir es que deberíamos considerar no solo el rendimiento sino también el recurso informático que utilizó. Pero la mayoría del artículo que he leído solo se preocupa por el rendimiento. Estoy muy confundido al respecto

More Interesting

Cómo aplicar una técnica de validación cruzada en un modelo LSTM

¿Ha publicado Factual.com algún trabajo de investigación (o algún asunto técnico importante) sobre las técnicas de aprendizaje automático que utilizan para rastrear y extraer de la web?

¿Qué tipo de big data se genera desde internet de las cosas? ¿Cómo recopilo esos datos? ¿Puedo aplicar el aprendizaje automático para encontrar patrones en los datos?

Dada una serie de datos de tiempo para la construcción de modelos, ¿cómo divido el conjunto de datos en muestras de capacitación y validación?

¿Qué profesores / grupos / laboratorios están trabajando en el aprendizaje profundo en el MIT?

¿El parámetro C afecta a una clase SVM?

He completado la clase Coursera de Andrew Ng sobre aprendizaje automático. ¿Qué debería hacer después? ¿Qué puedo hacer a continuación?

¿Es la máquina de comercio científico una estafa?

¿Se utilizan algoritmos básicos de CS en el aprendizaje automático?

¿Cómo se puede utilizar el aprendizaje profundo TensorFlow para la detección de anomalías?

¿Qué tan avanzado es el aprendizaje autónomo robótico?

¿Cuál es una explicación intuitiva del algoritmo wake-sleep?

¿Cuáles son las formas en que el científico de datos indio que actualmente trabaja en una empresa de aprendizaje automático con sede en India inmigra a los Estados Unidos?

¿Alguien consiguió un trabajo en Machine Learning después de completar un Nanodegree de Machine Learning?

¿Los ingenieros de aprendizaje automático en Google tienden a publicar artículos?