Los tensores en la red neuronal de la literatura: ¿cuál es la definición más simple que existe?

Question

En la red neuronal de la literatura, a menudo nos encontramos con la palabra "tensor".

Es diferente de un vector? Y a partir de una matriz? Tienes algún ejemplo específico que aclara su definición?

Estoy un poco confundido acerca de su definición. Wikipedia no ayuda y, a veces tengo la impresión de que su definición depende de la máquina específica ambiente de aprendizaje utilizado (TensorFlow, Café, Theano).

Answer 1

Para los fines de análisis de datos, se puede considerar como matrices, posiblemente multidimensional. Por lo tanto se incluyen escalares, vectores, matrices, y todas las matrices de orden superior.

La precisa definición matemática es más complicado. Básicamente la idea es que los tensores transformar multilineal de las funciones de las funciones lineales. Ver (1) o (2). (Multilineal funciones son funciones que son lineales en cada uno de sus componentes, por ejemplo, el determinante se considera como una función de los vectores columna.)

Una consecuencia de esta propiedad matemática definición de los tensores es que los tensores de transformación muy bien con respecto a Jacobians, que codifican las transformaciones de un sistema de coordenadas a otro. Por eso uno ve a menudo la definición de tensor como "un objeto que se transforma en una cierta forma bajo cambios de coordenadas" en la física. Ver este vídeo , por ejemplo, o este.

Si estamos tratando con lo suficientemente "buena" de los objetos (todos los derivados que nos gustaría existen y bien definidos son), entonces todas estas maneras de pensar acerca de los tensores son esencialmente equivalentes. Tenga en cuenta que la primera manera de pensar de los tensores que he mencionado (matrices multidimensionales) ignora la distinción entre covariante y contravariante de los tensores. (La distinción es con respecto a la forma en que sus coeficientes de modificación en virtud de un cambio de base de la base del espacio vectorial, es decir, entre la fila y vectores columna esencialmente.) Ver estas otras StackExchange preguntas: (1) (2) (3) (4)

Para un libro utilizado por los investigadores que estudian las aplicaciones de los tensores a las redes neuronales (por ejemplo en el Technion en Israel), hay Wolfgang Hackbusch del Tensor de Espacios y Cálculo Numérico. No he leído aún a mí mismo, a pesar de que algunos de los capítulos posteriores parecen usar las matemáticas avanzadas.