Aquí hay una respuesta desde la perspectiva de un matemático:
Los tensores son necesarios para la geometría diferencial. La geometría diferencial es, por necesidad, el lenguaje de la física.
Explicaré esto al revés. Los físicos necesitan estudiar el espacio, que se descubrió que está curvado, desde dentro de ese espacio.
La geometría diferencial es el estudio de estructuras específicas en objetos específicos.
Los objetos en cuestión son "variedades", objetos tipo espacio que "parecen" espacio plano si te acercas lo suficiente. Nuestro mundo se comporta así, porque el límite clásico funciona. Las estructuras en ellos se llaman "métricas" y codifican información que permite construir algo "similar" a la geometría estándar, definiendo longitudes de curvas en la variedad, ángulos entre vectores tangentes a la variedad, y así sucesivamente. Queremos tener ángulos y longitudes para hacer física, así que estas estructuras también son necesarias.
Críticamente, los matemáticos eligen describir estos objetos de una manera intrínseca, utilizando solo objetos definidos en términos de puntos de la variedad, y no apelando a que la variedad esté "dentro" de algún espacio más grande (esto se llama una superficie embebida, e interesante existen muchas variedades que no pueden ser embebidas en ninguna superficie, por eso los matemáticos eligieron estudiar las variedades intrínsecamente). Esto es muy útil para la física, ya que no podemos observar la estructura del espacio desde afuera.
Para explicar los tensores en la geometría diferencial, uno debe entender los espacios vectoriales duales: un vector dual es una función que toma un vector, y produce un escalar. Un tensor $(r, k)$ es entonces una función de múltiples variables, tomando $r$ vectores normales y $k$ vectores duales y produciendo un escalar.
Por qué esto es útil: para describir la curvatura de una variedad intrínsecamente, sin apelar a círculos tangentes al espacio y otras cosas que uno podría hacer en cálculo 3, los matemáticos utilizan un objeto llamado un tensor de curvatura. Toma dos vectores tangentes (nuevamente definidos de manera intrínseca; es realmente contraintuitivo y no es necesario aquí) a la variedad, y produce un número que corresponde a cuán apretada está doblada la variedad.
Otro ejemplo es el tensor métrico con el que uno está familiarizado en la relatividad general. En las variedades pseudo-riemannianas de 4 dimensiones estudiadas en la RG, esto es la métrica de Minkowski representada como $$\eta = \begin{pmatrix}-1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0\\ 0 & 0 & 0 & 1 \\ \end{pmatrix}$$
Algo importante a tener en cuenta es que la matriz que representa un tensor y el tensor en sí son objetos distintos. Esta confusión se debe a que los científicos naturales no enseñan espacios vectoriales finitos adecuadamente a sus estudiantes de pregrado, pero me estoy desviando. Una matriz es una forma de almacenar información sobre un mapa lineal o tensor, no es el tensor en sí mismo ni en la noción de física (que es compatible con la que estoy mencionando aquí, pero es complicada y requiere apelar a cambiar el llamado atlas de la variedad para tener diferentes funciones de coordenadas) ni en la matemática. Por ejemplo, la métrica de Minkowski mide longitud. Así que no actúa como un mapa lineal, que produce un vector y es lo que probablemente estés acostumbrado a ver representar las matrices. La métrica en realidad actúa como $$\eta(v,w)=v^T\eta w=\begin{pmatrix} v_1 & v_2 & v_3 &v_4 \end{pmatrix} \begin{pmatrix}-1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0\\ 0 & 0 & 0 & 1 \\ \end{pmatrix} \begin{pmatrix} w_1 \\ w_2 \\ w_3 \\ w_4\end{matrix}$$ Entonces, el mapa lineal representado por $\eta_{ij}$ y el tensor representado por $\eta_{ij}$ son dos objetos extremadamente distintos. Uno es un mapa lineal entre dos espacios vectoriales de cuatro dimensiones; el otro es un mapa a partir de pares de elementos de un espacio vectorial de cuatro dimensiones al campo de escalares.
Interesantemente, vi un trabajo de Moon y otra persona definiendo algo llamado "holores"; estaban interesados en estudiar las propiedades de estos arreglos multidimensionales que usamos para almacenar información por sus propios méritos. Por lo que pude entender, no había una cantidad tremenda de trabajo novedoso, pero la exposición era muy buena. Recuerdo que me dio una impresión un tanto excéntrica en algún lugar, pero es muy difícil ser excéntrico en matemáticas, así que aún así sugiero el libro.
EDICIÓN: Como ejemplo general de lo fácil que hace esto la física, actualmente estoy en una clase de QFT matemática de un solo semestre con geometría diferencial como requisito previo. La clase está enseñando a varias personas que pueden recordar fragmentos de la física general de primer año desaparecida hace 8 años, nada más. Sin embargo, el profesor pretende explicar toda la mecánica clásica, toda la mecánica cuántica tradicional, la teoría de calibre, y el formalismo de Batalin-Vilkovsky de la teoría cuántica de campos reuniéndose 3 horas a la semana durante un semestre. Al tratar todo de esta manera muy familiar (para los estudiantes graduados de matemáticas), incluso la mecánica clásica, obtener una comprensión técnicamente respetable de las teorías físicas es muy rápido y fácil.
