¿Qué parte ahorrará tiempo al entrenar una red neuronal usando GPU?

Question

Hay mucho trabajo para entrenar una red neuronal profunda usando GPU. Desde la perspectiva de la optimización, ¿qué parte ahorra tiempo? ¿La evaluación de la función objetivo? ¿El cálculo del gradiente? ¿O algo más? ¿Y por qué?

¿Son ciertas operaciones de matrices (como la multiplicación de matrices) más rápidas en GPU que en CPU?

En optimización convexa Apéndice C. Tenemos conteo de operaciones de punto flotante para cada operación. ¿Se cambian en GPU? ¿O la GPU tiene operaciones de punto flotante mucho más rápidas?

Answer 1

Tienes razón, las GPUs, en comparación con las CPUs (Unidad Central de Procesamiento), son más especializadas en realizar operaciones matriciales y otras transformaciones matemáticas avanzadas. Las GPUs obtienen tal velocidad en operaciones debido a la arquitectura paralela/distribuida con muchos nodos de procesamiento de gama baja.

Answer 2

Es porque las redes neuronales son fáciles de paralelizar, para capas de red comunes, se aplican las mismas operaciones a la entrada y a los parámetros, y el orden en que se ejecutan estas operaciones no afecta la salida.

Las GPUs son buenas para el procesamiento paralelo ya que tienen miles de núcleos. Hasta donde yo sé, la GPU no reduce el número de operaciones de punto flotante necesarias para las operaciones de matriz en comparación con la CPU.

Si una capa implica alguna operación que no se beneficia mucho del procesamiento paralelo (como podría ser el ordenamiento por inserción), entonces el uso de GPUs no será tan rápido.

Answer 3

Las redes neuronales en general se basan en cálculos de álgebra lineal. Si pensamos en operaciones gráficas como combinar dos texturas (mapas de bits), o cambiar de alguna manera cada píxel de la textura, para lo que están construidas las GPUs, no es más ni menos que operaciones simples de matriz / vector.

Yendo más a fondo - la GPU es un procesador que tiene miles de unidades de cálculo con diferentes registros de datos y un registro de comando común, por lo que, por ejemplo, una operación como:

X = X + 1

donde X es una matriz grande, puede utilizar cada núcleo de la GPU siempre y cuando solo haya un comando para ejecutar en cada uno de ellos. Cómo se utilizan específicamente esas características depende del software, generalmente una biblioteca / herramienta de álgebra lineal como por ejemplo Matlab o las bibliotecas de DNN de nVidia.