No puedes usar la cosa que quieres probar en la prueba misma, por lo que las respuestas anteriores están omitiendo algunos pasos. Aquí tienes una prueba más detallada y completa.
Dado que A es no singular y simétrica, muestra que $ A^{-1} = (A^{-1})^T $.
Dado que $A$ es no singular, $A^{-1}$ existe. Dado que $ I = I^T $ y $ AA^{-1} = I $,
$$ AA^{-1} = (AA^{-1})^T. $$
Dado que $ (AB)^T = B^TA^T $,
$$ AA^{-1} = (A^{-1})^TA^T. $$
Dado que $ AA^{-1} = A^{-1}A = I $, reorganizamos el lado izquierdo para obtener
$$ A^{-1}A = (A^{-1})^TA^T. $$
Dado que $A$ es simétrica, $ A = A^T $, y podemos sustituir esto en el lado derecho para obtener
$$ A^{-1}A = (A^{-1})^TA. $$
De aquí, vemos que
$$ A^{-1}A(A^{-1}) = (A^{-1})^TA(A^{-1})$$ $$ A^{-1}I = (A^{-1})^TI $$ $$ A^{-1} = (A^{-1})^T, $$
demostrando así la afirmación.