¿Qué hace la operación de convolución en la red neuronal convolucional? [Entrevista]

Question

Lo que hace la operación de convolución hacer en convolucional de la red neuronal? Él quiere un significado.

El entrevistador me dijo que se puede ver en cada convolucional de filtro como un vector y cuando convolves con una matriz, que es, esencialmente, un producto escalar, dándole un coseno de distancia. Es ese derecho? Creo que es cierto sólo cuando ambos vectores son normalizados a 1, pero no es el caso en convolucional de la red neuronal, donde no podemos controlar los pesos en el filtro, ya que son aprendidas a través de la gradiente de la pendiente. También, esto no parece explicar por qué CNN es capaz de aprender bien. Es mi entrevistador sólo un profundo aprendizaje de los aspirantes a los que se pretende conocer DL?

Answer 1

Producto escalar y la similitud del coseno

El producto escalar de dos vectores $a, b$ de la misma longitud, $n$ se define como $$\sum_{i=1}^n a_i b_i$$

La similitud del coseno se define como $$\frac{ \sum\limits_{i=1}^{n}{a_i b_i} }{ \sqrt{\sum\limits_{i=1}^{n}{a_i^2}} \sqrt{\sum\limits_{i=1}^{n}{b_i^2}} }$$

Por lo que la similitud del coseno es esencialmente una normativa versión del producto escalar.

Para calcular el elemento $(i, j)$ de la función de mapa resultante de la convolución con un $3 \times 3$ filtro de $w$ que se aplica a una función de mapa de $F^{(0)}$, se calcula el

$$\sum_{x=-1}^1 \sum_{y=-1}^1 F^{(0)}_{x+i,y+j} \cdot w_{x, y}$$

Usted puede, por supuesto, encontrar una versión acoplada de $F$ / $w$ así que este es un producto escalar. No estoy muy seguro de cómo se aplica esto en la cuDNN. Por lo tanto, aunque es cierto lo que él dice, no estoy seguro de lo útil que es el pensar de convolucional capas como este.

Lo Conv-Capas de aprender

Comúnmente, la gente dice que CNNs aprender borde de los detectores. Para tales preguntas / afirmaciones, la gente a menudo se refieren a la Visualización y Comprensión de Convolucional Redes