Respuesta corta: lo que quieres no se puede hacer así.
Como has supuesto, un potenciómetro forma por sí mismo un divisor de resistencias. Las dos partes (llamémoslas superior e inferior) dividen la tensión proporcionalmente a los dos valores de resistencia.
Cuando conectas algo (en tu caso el calentador) a la salida del potenciómetro, lo conectas en paralelo con la resistencia inferior. Dos resistencias en paralelo tienen una resistencia total de 1/( 1/R1 + 1/R2). Si una de las resistencias en paralelo tiene un valor muy bajo, puedes ignorar la otra.
Esto es lo que ocurre en tu configuración: en efecto, tienes un divisor de resistencias formado por
Tu calefactor tiene una resistencia bastante baja, por lo que cuando giras el potenciómetro "hacia arriba" no ocurre casi nada, hasta el final, cuando la resistencia de la parte superior del potenciómetro llega a ser comparable a la del calefactor.
No sé la resistencia del calentador, pero para crear calor debe ser baja. Combinado con 24V esto resultará en una gran corriente, para la cual tu potenciómetro probablemente no está diseñado. No te sorprendas cuando veas salir humo de tu potenciómetro.
Sin conmutación, no hay manera de hacer lo que quieres de manera efectiva (es decir, sin desperdiciar alrededor de 9 veces el calor que obtienes en tu calentador en el resto del circuito). Una solución sencilla utilizando la modulación por ancho de pulsos (PWM) podría consistir en un circuito de chip 555 y un transistor en serie de conmutación o FET.
\=================================================
Basado en nueva información:
¿Tienes una fuente de 24 V CC, un potenciómetro de 10 k y quieres que produzca una salida de 0 .. 2,5 V CC? Eso es muy diferente, y fácil.
El truco no consiste en reducir la salida del potenciómetro (porque sufre el mismo problema de carga que he descrito antes, aunque algo menos porque las resistencias implicadas tienen un valor más alto), pero el entrada . Puedes utilizar el propio potenciómetro como resistencia inferior, sólo necesitas añadir una resistencia superior (entre el potenciómetro y la fuente de 24V).
El valor es fácil de calcular. Quieres 10k (tu potenciómetro) para obtener 2,5V. Eso deja 24 - 2,5 = 21,5 para la resistencia superior. Cada 1k disminuye 0,25V, por lo que 21,5V requiere 21,5 / 0,25 = 86kOhm. 82k es un valor estándar.