Cambiar su notación ligeramente, supongamos $A \in \operatorname{GL}_n^{+}(\mathbb{R})$ tal que $A \cdot \operatorname{SO}_n(\mathbb{R}) \cdot A^{-1} \subseteq \operatorname{SO}_n(\mathbb{R})$. Vamos a probar que, de hecho, debemos tener $A = \lambda U$ para $\lambda > 0$ e $U \in \operatorname{SO}_n(\mathbb{R})$. En primer lugar, el uso de descomposición polar, podemos escribir la $A = PU$ donde $U \in \operatorname{SO}_n(\mathbb{R})$ e $P$ es positiva definida. Entonces
$$ A \cdot \operatorname{SO}_n(\mathbb{R}) \cdot A^{-1} = P \cdot U \cdot \operatorname{SO}_n(\mathbb{R}) \cdot U^{-1} \cdot P^{-1} \subseteq \operatorname{SO}_n(\mathbb{R}). $$
Desde $Q \mapsto U \cdot Q \cdot U^{-1}$ es un automorphism de $\operatorname{SO}_n(\mathbb{R})$, obtenemos
$$ P \cdot \operatorname{SO}_n(\mathbb{R}) \cdot P^{-1} \subseteq \operatorname{SO}_n(\mathbb{R}). $$
Ahora, es suficiente para demostrar que $P = \lambda I$. Desde $P$ es simétrica y positiva, podemos escribir $P = Q^{-1} \Sigma Q$ con $Q \in \operatorname{SO}_n(\mathbb{R})$ e $\Sigma$ diagonal con un resultado positivo de las entradas. Entonces
$$ P \cdot \operatorname{SO}_n(\mathbb{R}) \cdot P^{-1} = Q^{-1} \cdot \Sigma \cdot Q \cdot \operatorname{SO}_n(\mathbb{R}) \cdot Q^{-1} \cdot \Sigma^{-1} \cdot Q \subseteq \operatorname{SO}_n(\mathbb{R}). $$
De nuevo, usando el hecho de que la conjugación es un automorphism, obtenemos
$$ \Sigma \cdot \operatorname{SO}_n(\mathbb{R}) \cdot \Sigma^{-1} \subseteq \operatorname{SO}_n(\mathbb{R}). $$
Escribir $\Sigma = \operatorname{diag}(\lambda_1, \dots, \lambda_n)$. Asumiendo $n \geq 3$, el grupo de $A_n$ incluso de permutaciones actúa transitivamente sobre $\{ 1, \dots, n \}$ así que para cualquier $1 \leq i < j \leq n$ tiene un especial ortogonal de la matriz de permutación $Q = Q_{i,j} \in \operatorname{SO}_n(\mathbb{R})$ que satisface $Qe_i = e_j$. A continuación, $(\Sigma Q \Sigma^{-1})(e_i) = \frac{\lambda_i}{\lambda_i} e_j$ tiene una norma iff $\lambda_i = \lambda_j$ lo que muestra que todas las entradas de la diagonal $\lambda_i$ debe ser el mismo, por lo $\Sigma = \lambda I$ para $\lambda > 0$. Cuando $n = 2$, usted no puede utilizar una matriz de permutación, pero usted puede elegir en lugar de un no-diagonal de la matriz de rotación
$$ Q = \begin{pmatrix} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{pmatrix} \in \operatorname{SO}_2(\mathbb{R})$$
con $\sin \theta \neq 0$ y, a continuación, $(\Sigma^{-1} Q \Sigma)(e_1) = \cos^2 \theta \cdot e_1 + \frac{\lambda_2}{\lambda_1} \sin^2 \theta \cdot e_2$ tiene una norma iff $\lambda_1 = \lambda_2$ que conduce a la misma conclusión. El caso restante se $n = 1$ puede ser trivialmente verificado.
El mismo argumento muestra que si $A \in \operatorname{GL}_n(\mathbb{R})$ satisface $A \cdot \operatorname{O}_n(\mathbb{R}) \cdot A^{-1} \subseteq \operatorname{O}_n(\mathbb{R})$ entonces $A = \lambda U$ para $U \in \operatorname{O}_n(\mathbb{R})$ e $\lambda \neq 0$. En este caso, usted ni siquiera necesita para manejar el caso $n = 2$ por separado.