Los comentarios sobre la pregunta proporcionan una buena cantidad de información para encontrar una solución, pero me di cuenta de que todavía había preguntas sin respuesta sobre cómo resolver el problema original.
Como has dicho, lo más sencillo es hallar las partes real e imaginaria y, a continuación, utilizar la fórmula de Pitágoras para hallar la magnitud. La separación en partes real e imaginaria suele hacerse como indica @fleablood, multiplicando la parte superior e inferior de la fracción por el conjugado complejo del denominador. Entonces, la fracción se puede separar en partes reales e imaginarias por los términos del numerador.
En su caso, empecemos por el $H(j\omega)$ versión de tu función racional, ya que parece ser lo que estás buscando. (Se puede hacer, pero se complica si se trabaja en la función $s$ dominio donde $s=\sigma + j\omega$ ).
$$H(j\omega)=\frac{1−j\omega}{(j\omega)^2+j\omega+1}$$
La primera simplificación está en el denominador, ya que $j^2=-1$
$$H(j\omega)=\frac{1−j\omega}{-\omega^2+j\omega+1}$$
$\omega$ es un número de valor real, por lo que el conjugado complejo para el denominador sólo tiene el signo del término complejo cambiado: $1-\omega^2-j\omega$
Ahora, racionalizando la fracción:
$$H(j\omega)=\frac{1−j\omega}{1-\omega^2+j\omega}\times\frac{1-\omega^2-j\omega}{1-\omega^2-j\omega}$$ $$ = \frac{j\omega^3-2\omega^2-2j\omega+1}{\omega^4-\omega^2+1}$$ $$ = \frac{-2\omega^2+1}{\omega^4-\omega^2+1}+j\frac{\omega^3-2\omega}{\omega^4-\omega^2+1}$$
Con las partes real e imaginaria separadas, podemos hallar la magnitud:
$$\lvert{H(j\omega)}\rvert = \sqrt{\left(\frac{-2\omega^2+1}{\omega^4-\omega^2+1}\right)^2+\left(\frac{\omega^3-2\omega}{\omega^4-\omega^2+1}\right)^2}$$ $$= \sqrt{\frac{\left(-2\omega^2+1\right)^2+\left(\omega^3-2\omega\right)^2}{\left(\omega^4-\omega^2+1\right)^2}}$$ $$= \sqrt{\frac{\omega^6+1}{\left(\omega^4-\omega^2+1\right)^2}}$$ $$= \sqrt{\frac{\left(\omega^2+1\right)\left(\omega^4-\omega^2+1\right)}{\left(\omega^4-\omega^2+1\right)^2}}$$
$$\lvert{H(j\omega)}\rvert = \sqrt{\frac{\omega^2+1}{\omega^4-\omega^2+1}}$$
Puede que haya otras formas de hacer la manipulación algebraica, pero ésta parece la más sencilla. (Tenga en cuenta que la factorización $\omega^6+1$ utiliza el Suma de cubos Identidad reconociendo que $\omega^6+1 = \left(\omega^2\right)^3+1$ .
El resultado final se verificó con el Máxima 5.43.0 cabs
que da como resultado la expresión equivalente:
$$\lvert{H(j\omega)}\rvert = \sqrt{\frac{\omega^2+1}{\left(1-\omega^2\right)^2+\omega^2}}$$