¿Qué determina el tamaño máximo de la caché de un ordenador?

Question

Al mirar una lista de las últimas CPUs, veo varias de ellas con un tamaño de caché de 12MB u 8MB - bastante pequeño, si se compara con el tamaño cada vez mayor de los discos duros y la ram. Parece que se da por sentado que la caché de una CPU siempre será pequeña, pero, ¿por qué? ¿Es simplemente inviable desde el punto de vista económico, o hay razones de ingeniería por las que tiene que seguir siendo pequeña?

Estoy pensando en algunas criptomonedas (por ejemplo, Ethereum), que están diseñadas para ser difíciles de memorizar, por lo que la velocidad del algoritmo está limitada por el ancho de banda IO de la memoria, con la idea de que esto hace imposible diseñar un chip personalizado específicamente para resolver ese algoritmo como se hizo para el bitcoin. Pero, si alguien estuviera haciendo un chip a medida de todos modos, ¿no podría simplemente meter un gigabyte en la caché y eliminar el cuello de botella de IO?

Answer 1

Se trata de un compromiso entre la mayor tasa de aciertos de una caché grande y la mayor velocidad de la caché RAM más pequeña. La tasa de aciertos sigue una ley de rendimientos decrecientes a medida que la caché se hace más grande.

Duplicar el tamaño de una caché de gran tamaño puede suponer sólo un aumento de un par de puntos porcentuales en la tasa de aciertos, pero sin duda aumentará su tiempo de acceso, lo que ralentiza el rendimiento de la CPU.

Answer 2

La cuestión es el tamaño de la estructura frente a la velocidad de propagación de la señal.

Si construyes una caché más grande, ocupa más espacio físicamente, lo que significa que la longitud que tienen que recorrer las señales aumenta, lo que reduce la velocidad máxima de reloj a la que puede funcionar la caché. La caché L1 debe funcionar de forma sincronizada con la CPU para ser útil, por lo que el tamaño de la caché es un factor que limita la velocidad de reloj.

Otras capas de caché pueden ser más grandes y funcionar a relojes más lentos, pero esto requiere que la CPU espere hasta que la caché responda.

El enfoque de la GPU consiste en tener muchos hilos por núcleo (es decir, un factor SMT de 16 o más, en comparación con los 2 de las CPU de Intel o los 4 de POWER). Esto significa que cada hilo individual sólo funcionará a una fracción de la velocidad del reloj, pero los resultados de un acceso a la memoria no se requieren hasta que todos los demás hilos hayan comenzado su acceso a la memoria, momento en el que el resultado del primer acceso debería estar listo.

Por ello, la minería por GPU es interesante para estas monedas.

Answer 3

Las memorias del tamaño de un gigabyte (DRAM) no utilizan el mismo proceso de fabricación que las CPU (lógica), por lo que no se pueden tener ambas cosas dentro del mismo chip, a menos que se esté dispuesto a hacer concesiones que harían que el conjunto fuera ineficiente.

La memoria caché utiliza la RAM estática, que es más parecida a la lógica, pero que ocupa más espacio de silicio que la DRAM, por lo que no se puede tener tanta, prácticamente. Además, las memorias caché de gran tamaño utilizan celdas direccionables por contenido, lo que es aún más complicado de fabricar. En resumen, fabricar una memoria caché del tamaño de un gigabyte no es realmente factible desde el punto de vista económico.

Pero de todos modos, aunque pudieras hacerlo, no resolvería tu problema. Tal vez ganarías algunos ciclos de latencia, pero seguirías necesitando un bus entre el procesador y la memoria, incluso dentro del chip. Así que ese sería tu cuello de botella de la misma manera que lo es en un ordenador normal.