He oído decir que los productos tensoriales son lo más difícil de las matemáticas. Por supuesto, eso no es cierto, pero ciertamente la comprensión fluida de cómo trabajar con productos tensoriales es una de las líneas divisorias en tu educación de las matemáticas básicas a las avanzadas.
Aclaración: Lo que voy a discutir aquí son productos tensoriales en el sentido del álgebra lineal, así que sólo productos tensoriales de espacios vectoriales individuales en lugar de campos tensoriales (que es lo que los físicos entienden por producto tensorial).
Durante mucho tiempo no pude entender cómo los físicos podían trabajar con tensores pensando en ellos como "cantidades que se transforman de una determinada manera bajo un cambio de coordenadas". La única forma en que pude llegar a un acuerdo con ellos es mediante su caracterización como algo que satisface una propiedad de mapeo universal. No piense en qué tensores (elementos de un espacio de producto tensorial) sino lo que puede hacer por ti toda la construcción de un espacio de producto tensorial. Es algo parecido a los grupos cocientes (pero más difícil), ya que si centras toda tu energía en tratar de entender los cosets, pierdes el sentido de los grupos cocientes. Lo que hace que los espacios de producto tensorial sean más difíciles de entender que los grupos cocientes es que la mayoría de los elementos de un espacio de producto tensorial no son elementales tensores $v \otimes w$ pero sólo suman estas cosas.
El objetivo (matemático) de los productos tensoriales de los espacios vectoriales es linealizar los mapas bilineales. Un mapa bilineal es una función $V \times W \rightarrow U$ entre $F$ -espacios vectoriales $V, W$ y $U$ que es lineal en cada coordenada cuando la otra se mantiene fija. Hay montones de mapas bilineales en matemáticas, y si podemos convertirlos en mapas lineales entonces podemos utilizar construcciones relacionadas con mapas lineales sobre ellos. El producto tensorial $V \otimes_F W$ de dos $F$ -Los espacios vectoriales proporcionan el espacio más extremo, por así decirlo, que es un dominio para la linealización de todo mapas bilineales de $V \times W$ en todo espacios vectoriales (sobre $F$ ). Es un espacio vectorial particular juntos con un mapa bilineal particular $V \times W \rightarrow V \otimes_F W$ tal que cualquier mapa bilineal fuera de $V \times W$ en cualquier espacio vectorial naturalmente (!) se convierte en un mapa lineal fuera de este nuevo espacio $V \otimes_F W$ . Algunos apuntes que escribí sobre productos tensoriales para un curso de álgebra están en http://www.math.uconn.edu/~kconrad/blurbs/linmultialg/tensorprod.pdf y en él abordo cuestiones como "qué hace $v \otimes w$ y "¿qué significa decir $$ v_1 \otimes w_1 + \cdots + v_k \otimes w_k = v_1' \otimes w_1' + \cdots + v_k' \otimes w_k'?" $$ Desde el principio permito productos tensoriales de módulos sobre un anillo, no sólo espacios vectoriales sobre un campo. Hay algunos aspectos de los productos tensoriales que aparecen en el contexto más amplio de los módulos y que no aparecen en los espacios vectoriales (sobre todo porque los módulos no necesitan tener bases). Por lo tanto, es posible que desee omitir, por ejemplo, los productos tensoriales que implican ${\mathbf Z}/m{\mathbf Z}$ en $\mathbf Z$ en una primera pasada si no conoce los módulos.
En cuanto a la cuestión de cómo los productos tensoriales generalizan los escalares, los espacios vectoriales y las matrices, esto viene de los isomorfismos naturales (!) $$ F \otimes_F F \cong F, \ \ \ F \otimes_F V \cong V, \ \ V \otimes_F V^* \cong {\rm Hom}_F(V,V). $$ En el lado izquierdo de cada isomorfismo hay un producto tensorial de $F$ -vectoriales, y en el lado derecho están los espacios de escalares, vectores y matrices. En el enlace que escribí arriba, ver los teoremas 4.3, 4.5 y 5.9. También puedes tensorizar dos matrices como ejemplo particular en un producto tensorial de dos espacios de mapas lineales. Los espacios de mapas lineales son espacios vectoriales (con alguna estructura extra), por lo que admiten productos tensoriales también (con algunas características extra).
Volviendo a la definición de los físicos de los tensores como cantidades que se transforman por una regla, lo que siempre olvidan decir es "se transforman por una regla multilineal". Discuto la transición entre productos tensoriales desde el punto de vista de los matemáticos y los físicos en la sección 6 de un segundo conjunto de notas en http://www.math.uconn.edu/~kconrad/blurbs/linmultialg/tensorprod2.pdf .