Aunque suele estar apantallado, el CAT5 puede ser de tipo UTP, es decir, par trenzado sin apantallar. El "verdadero" cable RS-485 que enlazas tiene dos pares trenzados y un blindaje. Si no recuerdo mal, CAT5e (y superior) tiene una pantalla, al menos la mayoría de los cables que he visto tienen - la norma exacta puede variar. Supongo que esos servirían perfectamente. Sólo asegúrate de usar el par trenzado como en el cable RS-485 original (tu hoja de datos parece que [1 Blanco/Raya Naranja] y [2 Naranja/Raya Blanca] son un par trenzado, y [3 Azul/Raya Blanca] es un tercer hilo sin trenzado).
Parece que hay un pequeño desajuste de impedancia (100 ohmios para CAT5, 120 ohmios para RS-485). Esto causará reflexiones en el conductor y en el receptor, pero estoy bastante seguro de que su aplicación seguirá funcionando. Mientras que usted puede leer que 120 Ohms es típico para RS-485, la red de terminación utiliza 120 Ohms entre el par diferencial y 2 * 680 Ohms a VCC y GND.
Fuente
Por tanto, el valor de la terminación a la que "mira" el cable es inferior a 120 Ohmios de todos modos: (120||(680+680)) Ohmios = 110 Ohmios.
Si tienes la oportunidad de probarlo, podrías hacerlo. Yo probablemente ni lo dudaría y utilizaría STP CAT5(e). Si tu contrato dice que pagas dinero por cada minuto que falla la instalación, probablemente quieras usar cables con la especificación adecuada. (Esto último sigue sin garantizar que nunca falle nada, pero probablemente estarás en mejor posición si puedes culpar al cable "verdadero" en lugar de que otro culpe a tu cable "equivocado". Pero ya ves cómo este último párrafo no tiene nada que ver con la física...)