¿Tener 16 GB de caché (alguna CPU personalizada costosa) o RAM aceleraría el rendimiento en una cantidad significativa?

En su computadora de escritorio, todo dependerá de la velocidad de la memoria, qué tan cerca de la CPU esté y la efectividad de los algoritmos de almacenamiento en caché. Los cachés actuales en el dado se miden en MB, no en GB.

Dicho esto, 16 GB de caché rápida pueden acelerar el rendimiento en una cantidad significativa … ¡en aplicaciones distribuidas!

El almacenamiento en caché es una de mis especialidades en mi trabajo. He tenido el placer de configurar y utilizar dispositivos de caché de red para almacenar en caché los datos de la aplicación en lugar de ir a otros sistemas en la red para obtener esos datos. En comparación con los cachés de CPU, estos dispositivos son muy lentos pero, según los estándares de la aplicación, extremadamente rápidos. Los cachés pueden responder a una solicitud de datos en menos de 5 ms, incluida la latencia de la red en la mayoría de los casos, con 10 ms como el exterior, mientras que los servicios de fondo pueden tardar entre 30 y 100 ms en responder en promedio.

16 GB sería un caché de tamaño mediano. Nuestro pequeño caché es de alrededor de 1 GB. Los cachés más grandes son de alrededor de 100 GB. En dispositivos que tienen 256 GB de almacenamiento en caché cada uno y están conectados entre sí. Así que llámalo 512 GB en pares reflejados.

Estas memorias caché son 10 veces más rápidas que nuestra llamada de servicio promedio dentro de nuestra red. Llegar a redes de terceros no es una competencia; caché gana. Además, además de las ganancias masivas de rendimiento que obtenemos de los cachés, obtenemos otro beneficio: ahorro de costos.

Muchas de estas llamadas de servicio son operaciones de pago por llamada (especialmente en servicios de terceros). Por lo tanto, cualquier tráfico que podamos evitar enviarlos nos ahorra dinero. En un caso, redujimos nuestro tráfico en un 40% mediante el uso de almacenamiento en caché. Eso se traduce en más de $ 2 millones por año en ahorros de costos realizados. Más que suficiente que pagamos por toda la infraestructura de almacenamiento en caché en un año. De repente, nuestros dispositivos de almacenamiento en caché de $ 125K son generadores de dinero para mi empresa y continúan haciéndolo.

Entonces, sí, tener un caché suficientemente grande en el lugar correcto y usarlo en las aplicaciones correctas puede tener un efecto significativo en el rendimiento, tanto en la capacidad de respuesta de la red como en el flujo de caja mejorado.

Solo si también puede obtener algunas leyes alternativas de la física que hagan que la latencia sea lo suficientemente baja.

Existe un límite físico sobre la cantidad de memoria rápida que puede acercarse a su CPU. Las RAM más rápidas también son RAM físicamente más grandes y requieren más energía. Por lo tanto, los retrasos en la propagación, la disipación de calor, etc., ponen límites a lo cerca que puedes juntar todo esto y qué tan rápido puedes ir una vez que lo haces.

Si metiste 16 GB en un procesador, digamos como un caché L3 o L4, esa cantidad de caché aún sería mucho más lenta que los tamaños de caché que normalmente encuentras en los procesadores en estos días.

Necesitaría una carga de trabajo bastante especializada para justificar el costo.

Una forma de llegar allí es con una tecnología como la memoria de alto ancho de banda. Esto coloca una pila de memoria en el mismo paquete que la CPU, ofreciendo un enlace amplio y de gran ancho de banda entre la pila de memoria y la CPU.

Esto tiene algunos beneficios sobre DDR simple, como puedes imaginar.

Pero no es un caché en el sentido de los cachés L1 / L2 / L3 en una CPU típica. Y en ese tamaño, probablemente solo lo usaría como RAM del sistema mapeado directamente, en lugar de tener que almacenar en caché algo más.

Incluso si tuviera 1 TB de memoria del sistema en el exterior, probablemente valga la pena enseñar algunos principios de NUMA a su sistema operativo, si aún no tiene algún soporte para eso.

Realmente depende de lo que esté haciendo y de lo que pueda pagar. Para la mayoría de las aplicaciones, 8 GB de RAM son suficientes. Cada uno de mis sistemas tiene 16 GB y rara vez necesitan más de 5 GB, excepto cuando compilo programas o gráficos.

Un sistema típico obtendrá una cantidad decente de aumento de rendimiento al tener una unidad de arranque SSD y establecer la configuración de almacenamiento en caché del sistema en un valor fijo. Si eres un jugador, entonces la tarjeta gráfica y la CPU serán factores clave.

16 GB de caché sería una idea terrible, ya que para que se produzca un golpe de caché, la CPU tendría que pasar por 16 GB de datos y, si se pierde el caché, volvería a las siguientes opciones disponibles (RAM, HDD) desperdiciando su precioso ciclos en el proceso.

Si. Dependiendo de cuál es el punto de partida.

Un valor de 16 gigabytes de caché sería IMPRESIONANTE. SRAM es mucho, mucho más rápido que RAM, y 16 gigbaytes de tit aumentarían enormemente el rendimiento.