¿Por qué no se puede mantener la tasa de transferencia máxima de DRAM?

Razones para un rendimiento inferior al pico:

• Cada sistema de memoria tiene una alineación ideal. El acceso no alineado es más lento.
• Cada nivel de caché tiene una longitud de línea de caché. Si no usa toda la línea de caché, entonces parte del ancho de banda utilizado es inútil para usted.
• Los sistemas de memoria tienen muchos canales (2 para más computadoras de escritorio / portátiles, 8 para la mayoría de los servidores de dos sockets y 16 para sockets cuádruples). Cada canal de memoria solo puede manejar una única solicitud pendiente. Entonces, si no equilibra perfectamente sus solicitudes en todos los canales, termina deteniéndose en el canal con más de una solicitud.
• En un sistema de doble socket, la mitad del ram es más cercana / menor latencia y tiene un mayor ancho de banda. Por lo tanto, los accesos no locales son más lentos.
• TLB asigna páginas de direcciones virtuales a direcciones físicas basadas en asignaciones de páginas. Solo se pueden abrir tantas páginas a la vez, cualquier acceso a una página no abierta provoca una penalización de latencia. Por lo general, más cercano a cero una vez amortizado para accesos secuenciales, pero puede ser un problema importante para accesos aleatorios.
• La latencia en general es el enemigo, es más difícil utilizar un ancho de banda dado a medida que aumenta la latencia. Los cachés y la captación previa pueden ayudar, pero solo hasta cierto punto.
• Escribir código y estructuras de datos para ayudar a los accesos secuenciales y cargar cosas desde la memoria mucho antes de que realmente las necesite. Esto implica muchas cosas como separar operaciones dependientes con otro trabajo útil. Incluso cosas como acceder a una matriz 2D por fila y columna pueden mostrar grandes diferencias de ancho de banda debido al patrón de acceso a la memoria.

Entonces, todos los factores anteriores combinan que es muy raro obtener el 100% del ancho de banda. Pero con un código cuidadoso, el compilador correcto, accesos secuenciales y un sistema de configuración bien, he visto más del 50% del pico.

La DRAM ordinaria es lenta por diseño y está optimizada para una mayor densidad. Además, la programación inteligente de DRAM es clave para obtener un alto rendimiento.

Le recomiendo que lea los documentos de Onur Mutlu, un experto en rendimiento DRAM. Sus video conferencias disponibles en línea también son buenas fuentes para comprender el rendimiento de DRAM.

El ancho de banda DRAM es como el rendimiento máximo de la CPU: solo se puede obtener si todos los bits están en el lugar correcto. Lo que no sucede a menudo. Por ejemplo, DRAM tiene una organización interna en los bancos. Siempre que salga de un banco, obtendrá un alto rendimiento. Pero si el procesador solicita datos colocados de manera irregular, provendrá de más de un banco, la DRAM necesita cambiar entre bancos, y eso toma un par de ciclos. Entonces su transferencia se interrumpe temporalmente.

A veces puede observar directamente este comportamiento: si tiene un bucle

para (i)
x [i] = x [i] + y [i] + z [i]

puede obtener un mayor rendimiento al dividir esto como

para (i)
x [i] = x [i] + y [i]
para (i)
x [i] = x [i] + z [i]

El primer bucle necesita múltiples flujos de datos, lo que hace que la DRAM cambie entre bancos; dividirlo en dos bucles hace que el acceso a los datos sea más regular, por lo que mejora las tasas de transferencia de DRAM.