Estoy buscando más información sobre arquitecturas de hardware de IA, pero estoy un poco confuso. Estas son mis preguntas:
o la ALU en este caso ES MAC como se muestra aquí
Por si a alguien le interesa, lo he sacado de MIT ISCA 2017 (página 124 y siguientes)presentación.
Gracias.
Parece que estás mezclando diferentes presentaciones y diferentes dominios.
"MAC" en este contexto significa Multiplicar-Acumular, también conocido como Fused Multiply and Add (FMA). De hecho, es la operación central de las redes neuronales altamente conectadas, incluidas las redes totalmente conectadas y las CNN. La otra operación principal es la operación no lineal que se realiza sobre el resultado de todas esas MAC. Pero como eso suele ser un ReLu hoy en día, esa operación es prácticamente gratuita. (esencialmente un retardo de puerta)
ALU (Arithmetic Logical Unit) es un concepto de CPU obsoleto. Las arquitecturas de CPU modernas ya no las tienen; el equivalente lógico serían las Unidades de Ejecución FP. Definitivamente no están conectadas a la memoria como en la figura 1; operan sobre registros. La memoria no sería capaz de mantener el ritmo, eliminando el beneficio de una operación MAC dedicada.
La segunda imagen es una visión general de alto nivel de una nueva arquitectura sin CPU. Esto tiene sentido; estabas hablando de hardware de IA y no de hardware de uso general como las CPU.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
