¿Por qué las personas almacenan grandes datos utilizando buffers de protocolo (o equivalente)?

Solo que estos admiten la evolución y el control de versiones de Schema. Eso facilita la tarea de mezclar agentes, cada uno trabajando con una versión diferente del esquema.

Su compatibilidad, creo, no es de 2 vías. Un nuevo consumidor de esquemas puede comprender los datos de un antiguo productor … pero un viejo consumidor no puede entender los nuevos datos del esquema. Por lo tanto, los consumidores deben actualizarse con un nuevo esquema o, de lo contrario, se desatará un infierno.

Pero, ¿por qué alguien los usaría para almacenamiento? Solo que serializan datos y los almacenan de forma compacta. Son más favorables como entradas para reducir mapas que cualquier otra cosa. Puede asegurarse de que los datos de esquema antiguos y nuevos se puedan analizar juntos. Esta es mi comprensión periférica.

-editar-

He leído el libro de Big Data de Nathan Marz, el creador de Apache Storm y la arquitectura Lambda. Utiliza el ahorro de manera extensiva para almacenar el conjunto de datos maestros en el que se realiza todo el procesamiento por lotes.

Creo que el hecho es binario y altamente optimizado. A una escala muy grande, el rendimiento minúsculo aumenta el rendimiento general. El análisis también es súper rápido.