¿Cuál es la forma óptima de almacenar y cargar un gran conjunto de datos de imágenes?

Cuando la E / S es una parte importante de un programa de visión por computadora, normalmente lo ejecuto en su propio hilo. El hilo de E / S simplemente puede seguir leyendo datos y empujándolos a una cola, mientras que el hilo principal hace el trabajo y saca las imágenes de la cola según sea necesario. Esto reduce el tiempo de uso de la pared en espera improductiva pura de datos por razones obvias. Diseñar programas de esta manera es realmente fácil en Python con la biblioteca de multiprocesamiento y su abstracción de cola.

En el bit particular de código que pones en los detalles de la pregunta, el problema con el que te encuentras es que cargar archivos de texto que representan datos de imagen es mucho más lento que cargar desde formatos de archivo de imagen razonables como JPEG. El costo de tiempo de la E / S de disco es mucho mayor que los costos de decodificación en la mayoría de las situaciones realistas.

Para guardar / cargar matrices numpy, se muestran 3 métodos en ¿Cómo guardar y cargar datos numpy.array () correctamente? siendo uno tuyo, uno binario y otro binario portátil. En segundo lugar, ¿de dónde obtiene estos datos? Si la fuente son imágenes, intente guardar imágenes como tales, con un formato y calidad adecuados. Esto minimizaría el espacio en disco y quizás la velocidad de ingesta.

More Interesting

¿Debo usar Python o Scala para construir un sistema de aprendizaje automático para mi aplicación?

¿La máquina está aprendiendo la 'versión del hombre tonto' de intentar recrear la inteligencia?

Soy doctora en ingeniería informática con experiencia en aprendizaje automático y optimización bayesiana. Me encantaría evolucionar mi investigación hacia la mecánica estadística y la biofísica. ¿Cómo podría lograr eso? ¿Qué colaboraciones vale la pena buscar?

¿Cómo puede alguien usar el verano para hacer un gran progreso en su conocimiento en los campos de redes neuronales artificiales y aprendizaje profundo?

¿Cuáles son algunos campos en los que las redes neuronales artificiales aún no se han utilizado?

¿Cuál es el mejor libro sobre Support Vector Machines?

¿Los centros de datos cambiarán a procesadores personalizados para aplicaciones de aprendizaje automático?

¿Auto-sklearn es realmente mejor que un clasificador único optimizado por hiperparámetro? ¿Tienes experiencia con esto?

¿Cuáles son las distribuciones bayesianas anteriores y posteriores? ¿Cuáles son sus roles en las redes neuronales?

¿Cuál es el mejor foro de red neuronal en Internet?

¿Es C ++ un buen lenguaje para el aprendizaje automático?

¿Qué piensa la gente del concurso Quora ML CodeSprint 2013?

Para un maestro en aprendizaje automático, ¿cuál sería una mejor opción, KTH (MS en aprendizaje automático) o Chalmers (MS en sistemas adaptativos complejos)?

¿Cuál es una buena manera de entender la pérdida de Minkowski con una configuración diferente?

Explica qué son la precisión y el recuerdo. ¿Cómo se relacionan con la curva ROC?