Cómo escribir una gran cantidad de archivos a la vez, sin obstruir los recursos de la máquina

Puede almacenar en caché algunos de los datos leyendo de una fuente a la vez y manteniendo los datos en la memoria. No debería necesitar más de 100 fuentes externas o destinos a la vez. Si lo hace, tal vez está haciendo algo mal y necesita repensar el diseño de su programa.

Para las entradas, es posible que necesite una etapa de agregación inicial en la que interprete los datos de sus archivos y los reúna en una base de datos o en un formato adecuado para sus cálculos. La idea es acercar los datos al procesador, y más cerca me refiero a lo más cerca posible, idealmente en el caché L1.

Para las salidas, probablemente deba preguntarse por qué necesita escribir en tantos archivos y luego preguntarse si puede delegar. Normalmente, en una máquina no deberías escribir en más de 100 lugares; quizás desee delegar algunas cosas a otras máquinas. Pero su situación suena como un “olor arquitectónico” y debe repensar las cosas.

More Interesting

¿Qué ingenieros de software o hackers conoces que hayan mostrado un conocimiento excepcional de Python? ¿Porque?

¿Cómo se estructura un virus informático?

Cómo romper la seguridad del sistema operativo utilizando hardware

¿Qué clases recomiendas que tomen los programadores autodidactas si vuelven a la escuela después de trabajar en la industria durante varios años y quieren mejorar?

Al estudiar los efectos visuales, ¿terminaré en el set o detrás de una computadora?

¿Cuál es la diferencia entre visión artificial y visión por computadora? ¿Vienen bajo la robótica?

¿Qué tan peligroso es el virus WireLurker y cómo podemos mantener nuestros Macs / iPhones a salvo de él?

¿Cómo está cambiando el aprendizaje automático la publicidad en línea?

Fuera de las buenas calificaciones, ¿cuál es el aspecto más importante cuando se aplica a USC Viterbi para un curso de CS, como una transferencia de universidad comunitaria?

¿Qué son MDA y UML ejecutable? ¿Quién los usa? ¿Son realmente útiles para la industria del software o no software? ¿Cómo puedo aprender esto? ¿Hay algún buen libro que pueda descargar?

¿Cuáles son algunos buenos memes sobre Geoffrey Hinton / Andrew Ng?

¿Por qué el bit es la unidad de información más fundamental en la informática y no algo que puede tomar más de un estado (0,1,2,3 ... etc. en lugar de 0 y 1)?

¿Cuál es la diferencia entre una base de datos y un índice?

¿Cómo podría una CPU ejecutar más de una instrucción por ciclo de reloj?

¿Puede un informático aspirar a ser astronauta de la NASA? Si es así, ¿qué debería hacer si ahora tiene más de 20 años?