¿Es técnicamente posible tener una RAM rápida como caché mientras se mantiene grande?

Incluso si el dinero no es completamente un objeto, aún está limitado por la física de cargar y descargar condensadores y, en última instancia, aún más por la velocidad de la luz.

Debe poder direccionar celdas de bits individuales, por lo que para cada duplicación del tamaño de la memoria necesita un nivel adicional de muxing (de una forma u otra). Esto da una limitación física de la latencia de memoria siendo O (log n) del número de celdas de bits. Por lo tanto, nunca podrá hacer una memoria grande y rápida al mismo tiempo.

La velocidad de la luz también proporciona otra limitación. Todas las celdas de memoria deben estar geográficamente cercanas al núcleo del procesador; de lo contrario, el tiempo de propagación de ida y vuelta para acceder a la memoria degrada la latencia. Pero a medida que necesite más celdas de bits que fuercen distancias más grandes, aumentará la latencia. Para mantener las cosas muy cerca, la memoria debe estar en el mismo chip que el núcleo del procesador. Sin embargo, hay un límite de fabricación en el tamaño máximo de matriz que se puede producir, por lo que en algún momento deberá comenzar a dividir la memoria en varios chips, luego las distancias comenzarán a aumentar dramáticamente. Probablemente esto se pueda solucionar si realmente está preparado para gastar dinero (lea $$$ miles de millones) para construir estructuras de memoria 3D, pero luego las consideraciones térmicas comienzan a matarlo.

Finalmente, cosas como la memoria virtual (el hardware para permitir que los sistemas operativos multitarea mantengan los espacios de memoria de la aplicación separados) comienzan a interferir. Por lo general, se accede a las memorias caché L1 antes de que se complete la traducción de la dirección, por lo que se oculta la latencia de la MMU. Pero esto requiere algunos hacks para lidiar con el alias: la complejidad del manejo que se vuelve exponencialmente más difícil cuando el tamaño de la caché es mucho mayor que el tamaño de página de la memoria virtual.

Imposible. El caché L1 es tan rápido porque está en el procesador y no requiere conexiones, por así decirlo. Está transmitiendo datos directamente al procesador. Hacer tanto de esto aumentará su latencia al menos cien veces y probablemente ralentizará la CPU.