Yo diría que un número individual (como un residual), que es el resultado de un sorteo al azar de una distribución de probabilidad es un valor obtenido, no una variable aleatoria. Asimismo, me gustaría decir que es el conjunto de $N$ residuos, calculado a partir de los datos y el ajuste del modelo mediante $\bf{e}=\bf{y}-\bf{\hat{y}}$, es un conjunto de dio cuenta de valores. Este conjunto de números se pueden vagamente concebido como independiente basa en una distribución subyacente $\epsilon$ ~ $\mathcal{N}(\mu,\sigma^2)$. (Lamentablemente, sin embargo, hay varias complejidades adicionales aquí. Por ejemplo, en realidad no ha $N$ piezas independientes de información, debido a que los residuos, $\bf{e}$, deben satisfacer dos condiciones: $\sum e_i=0$, e $\sum x_ie_i=0$.)
Ahora, dado un conjunto de números, los residuos o lo que sea, es cierto que tienen una variación, $\sum(e_i-\bar{e})^2/N$, pero esto es poco interesante. Lo que nos importa es ser capaz de decir algo acerca de los datos de generación de proceso (por ejemplo, para estimar la varianza de la distribución de la población). Utilizando la fórmula anterior, se podría dar una aproximación mediante la sustitución de la $N$ con el residual de grados de libertad, pero esto puede no ser una buena aproximación. Este es un tema que puede ser muy complicado muy rápido, pero un par de posibles razones podría ser heterocedasticidad (es decir, que la varianza de la población difiere en los diferentes niveles de $x$), y la presencia de valores atípicos (es decir, que un determinado residual se extrae de una población diferente por completo). Casi seguro que, en la práctica, usted no será capaz de estimar la varianza de la población de la cual un valor atípico fue dibujado, pero que, sin embargo, en teoría, tiene una varianza. Sospecho que algo a lo largo de estas líneas es lo que los autores tuvieron en cuenta, sin embargo, debo señalar que yo no he leído ese libro.
Actualización: Después de releer la pregunta, sospecho que la comilla puede estar refiriéndose a la forma de la $x$-valor de un punto influye en la regresión ajustada de la línea, y por lo tanto el valor del residual asociado con ese punto. La idea clave para entender es el apalancamiento. Me discutir estos temas en mi respuesta aquí: la Interpretación de la trama.lm().