A2A.
Creo que ya hay varias respuestas que intentan abordar la pregunta desde una perspectiva técnica, escribir en un archivo y luego cargar por lotes más tarde.
Pero tengo una pregunta para esta pregunta. Tiene una aplicación de escritorio que crea 1 GB de datos por minuto. Eso es aproximadamente 1,5 TB de datos por día. ¿Qué diablos está haciendo? Ese es un volumen de datos absolutamente masivo para una aplicación de escritorio de los estándares actuales. Por supuesto, se está quedando sin RAM, la mayoría de las computadoras de escritorio construidas ahora vienen con 16 GB. Lo estás llenando en 16 minutos.
- ¿Qué es el soporte y la confianza en la minería de datos?
- Comparta materiales gratuitos interesantes sobre ciencias de datos / Big Data / Machine Learning aquí?
- ¿Cuáles son los mejores recursos gratuitos para nuevos desarrollos en aprendizaje automático y ciencia de datos?
- ¿Cuáles son las oportunidades para un ingeniero de ciencia de datos / aprendizaje profundo en el futuro?
- ¿Cuáles son las principales herramientas de ciencia de datos utilizadas por las organizaciones líderes?
Es probable que los datos de esa velocidad requieran varios servidores básicos para soportar adecuadamente. En lugar de tratar de acomodar todos los 1 GB de datos por minuto, pensaría mucho en lo que realmente necesito de los datos. ¿Existe la oportunidad de agregarlo previamente? ¿Necesita todos los detalles de nivel atómico almacenados en un DB? ¿Qué es lo que estás tratando de lograr al capturar estos datos?
