En primer lugar, el $2\times2$ caso es fácil: dos $2\times2$ son similares si y sólo si tienen el mismo polinomio característico, y ninguna de ellas es una matriz escalar (múltiplo de la identidad). Esto se debe esencialmente a que para matrices tan pequeñas el polinomio característico deja muy poco espacio para la variación del polinomio mínimo (y otros factores invariantes que en este caso se derivan de él).
Existe un método de decisión que funciona con total generalidad (cualquier campo $~K$ , cualquier tamaño $~n$ matrices cuadradas) y es teóricamente sencillo: calcular los factores invariantes determinando la Forma normal de Smith de las matrices $XI_n-A$ y $XI_n-B$ (aquellos cuyos determinantes definen los respectivos polinomios característicos) como matrices con polinomios en $~X$ como entradas; entonces $A$ y $B$ son similares si y sólo si se encuentran listas idénticas de factores invariantes.
Con "teóricamente sencillo" me refiero a que el método sólo utiliza operaciones básicas en $~K$ se podría esperar que realizara: aritmética de escalares y comprobación de la igualdad; notablemente no requiere encontrar raíces o factorizar polinomios como haría cualquier método basado en valores propios. Esencialmente, el algoritmo de la forma normal de Smith es una generalización de la eliminación gaussiana, pero trabajando sobre un PID en lugar de sobre un campo (lo que aquí significa: hacer operaciones polinómicas sobre las entradas de los polinomios, en lugar de usar sólo escalares), y permitiendo operaciones de columna así como operaciones de fila. El objetivo final es reducir la matriz a su forma normal de Smith, que tiene entradas no nulas (polinómicas) sólo en la diagonal principal, y que son polinomios mónicos tales que cada uno divide al siguiente (en general, también podría haber ceros finales, pero eso no ocurre aquí ya que nuestras matrices iniciales tienen determinantes mónicos, por lo tanto no nulos). Las entradas diagonales encontradas que son diferentes de $~1$ son los factores invariantes de $A,B$ respectivamente; el último es el polinomio mínimo y su producto es el polinomio característico. Por supuesto, estos dos polinomios también pueden calcularse por otros métodos, y si alguno de ellos difiere entre $A$ y $B$ esto basta para demostrar que no son similares; sin embargo, en el caso general (bastante raro) se necesitan todos los factores invariantes. En la mayoría de los casos habrá muchas entradas diagonales $~1$ seguido de uno o muy pocos polinomios no constantes que son los factores invariantes.
Que sea teóricamente sencillo no significa que el procedimiento sea fácil de realizar (a mano), ya que es como en versión iterada del algoritmo euclidiano en el anillo $K[X]$ de polinomios, cuyo algoritmo destaca por producir resultados intermedios muy complicados, al menos cuando $K=\Bbb Q$ (y sobre $\Bbb R$ o $\Bbb C$ el algoritmo no es realmente eficaz, ya que la comprobación de la igualdad no es posible con precisión). Sin embargo, funciona bien en campos finitos.
4 votos
Tu pregunta tiene diferentes respuestas dependiendo del tipo de matrices que permitas. ¿Son $A$ y $B$ ¿matrices reales? ¿Te importa si $S$ puede ser complejo o no, unitario/ortogonal o no, etc.