Tiene usted razón, aunque la diferencia se consideraría demasiado particular en la mente de algunos.
Desde una perspectiva totalmente técnica, La tensión es la diferencia de potencial entre dos puntos. Sin embargo, la mayoría de la gente que se pasa el día hablando de voltaje no lo utiliza exactamente así.
Un concepto similar, la velocidad no es la rapidez (la rapidez es la magnitud del vector velocidad) y la masa no es el peso (el peso es la magnitud del vector masa). Una persona normal puede referirse a su masa sin dar la dirección. Puede que no les guste que intentes corregirles.
Del mismo modo que en el habla normal utilizamos velocidad y masa para referirnos a valores no direccionales, utilizamos tensión para referirnos al potencial entre un único punto y tierra. Es más fácil conceptualizarlo y hablar de él así: "la tensión en este punto es de 3,3 V".
Durante mucho tiempo, los circuitos se componían principalmente de una fuente de potencial y varios componentes que tenían algún equivalente resistivo o reactivo de Thevenin. (Muchos circuitos de uso común siguen esta idea general.) Con una sola fuente, cada componente introduce caída de tensión, que es potencial negativo a través de él. En lugar de seguir afirmando que todos los potenciales son negativos, llamamos a todo el resultado una caída de tensión, y sabemos que es negativa.
Este uso también puede variar mucho según el grupo de personas con el que te encuentres, por ejemplo, si son físicos, ingenieros, electricistas o enfermeros, etc.