¿Cuán específicamente la memoria de la clase de almacenamiento cambiará las arquitecturas, los ecosistemas (incluidas las opciones de lenguaje de programación) y los algoritmos para big data?

El supuesto antiguo de que la E / S es lenta y el cálculo es rápido ya no es cierto.

La memoria no volátil todavía toma alrededor de 10 veces la de DRAM (esto está mejorando), la DRAM todavía es aproximadamente 200 veces más lenta que la caché L1, y cada núcleo puede acceder a su caché L1 simultáneamente, lo que significa que 20 núcleos son 20 veces más rápidos nuevamente.

Si bien la memoria no volátil es mucho más rápida que el disco, todavía es ~ 40,000x más lenta de lo que pueden lograr muchas memorias caché L1.

La memoria no volátil se está volviendo más rápida, pero también estamos obteniendo más núcleos, por lo que no espero que esta relación cambie tanto para los sistemas de gama alta.

Es probable que la diferencia más significativa sea el mayor uso de datos mapeados de memoria persistente directamente en las aplicaciones. Esto ha existido durante mucho tiempo, pero generalmente solo se encuentra en aplicaciones de bases de datos, a las que se accede de forma remota a través de TCP. En el futuro, las aplicaciones podrán asignar en memoria los datos que necesitan directamente.

Descargo de responsabilidad: trabajo en software de código abierto que hace esto.

El rendimiento relativo de las capas en los sistemas ha cambiado mil veces en un tiempo muy corto:

Para el almacenamiento, sí, pero ha estado tan lejos de los avances de la CPU, que incluso con una mejora de velocidad de 1000 veces, todavía está muy lejos.

Las pilas de infraestructura de centros de datos empresariales existentes (hardware y software) están a punto de volverse inútiles (o, al menos, muy ineficientes):

Este creo que es el caso. La infraestructura de Big Iron está siendo reemplazada por sistemas en la nube mucho más pequeños, más simples, más baratos, que pueden hacer el mismo trabajo.

Al mismo tiempo, estamos creando una nueva infraestructura que se basa más en software, por ejemplo, soluciones en la nube, por lo que la complejidad general de un centro de datos no está cambiando mucho, pero su flexibilidad y capacidad de respuesta están mejorando drásticamente. Solía ​​tardar 5 meses en aprovisionar un servidor que ahora se puede aprovisionar en 5 minutos.