Si $\det(A)=0$ Entonces, usted tiene $\det(A)\det(B) = 0 = \det(AB)$ Así que no hay nada que hacer. Así que todo lo que hay que hacer es considerar el caso en el que $A$ es invertible, es decir, donde $\det(A)\neq 0$ .
Para demostrar que el resultado es válido si $B$ no es invertible (no es necesario, pero lo preguntas) observa que si $B$ no es invertible, entonces tampoco lo es $AB$ (ya que existe una solución no trivial para $B\mathbf{x}=\mathbf{0}$ y esta solución no trivial es también una solución no trivial de $AB\mathbf{x}=\mathbf{0}$ Así que $AB$ tampoco es invertible). Así que $\det(AB)=0$ y la igualdad se mantiene.
La clave del argumento que utiliza el libro es que si $A$ es invertible, entonces se puede escribir como un producto de matrices elementales: $A = E_1\cdots E_t$ . Estas matrices elementales corresponden a las operaciones elementales de fila realizadas para obtener rrefA (en el orden de los índices). Pero cuando se multiplica por la izquierda cualquier matriz por una matriz elemental, entonces se realiza la correspondiente operación elemental de fila en la matriz.
Ahora, ¿qué pasa si $A$ es sólo una matriz elemental, y se mira $\det(AB)$ ? Si $A$ es una matriz elemental que corresponde a un intercambio de filas, entonces $AB$ es el resultado de intercambiar las filas de $B$ Así que $\det(AB) = -\det(B)$ . Pero si $A$ es una matriz elemental que corresponde a un intercambio de filas, entonces $\det(A) = -1$ . Así que en este caso, $\det(AB) = -\det(B) = \det(A)\det(B)$ .
Si $A$ corresponde a la adición de un múltiplo de una fila a otra fila, entonces $\det(A)=1$ y $\det(AB) = \det(B) = \det(A)\det(B)$ .
Por último, si $A$ corresponde a multiplicar una fila por $k$ entonces $AB$ es el resultado de multiplicar una fila de $B$ por $k$ por lo que por las propiedades del determinante se tiene que $\det(AB) = k\det(B)$ pero de nuevo, $\det(A) = k$ Así que $\det(AB)=k\det(B)$ = \det (A) \det (B)$.
Así que el resultado funciona si $A$ es una matriz elemental.
Ahora bien, ¿cómo se $E_i$ corresponden a las operaciones que se realizan cuando se calcula la rref de $A$ ? Son los frente a de lo que hace para $A$ para obtener la rref: porque si $F_1,\ldots,F_t$ es lo que se hace para $A$ para obtener la rref de $A$ entonces $F_t\cdots F_1 A = I$ Así que $A = (F_t\cdots F_1)^{-1} = F_1^{-1}\cdots F_t^{-1}$ .
La inversa de una matriz elemental correspondiente a un intercambio de filas es una matriz elemental correspondiente a un intercambio de filas; la inversa de una matriz elemental correspondiente a la adición de un múltiplo de una fila a otra es una matriz elemental correspondiente a la adición de un múltiplo de una fila a otra; y la inversa de una matriz elemental que corresponde a dividiendo una fila por $k$ es la matriz elemental que corresponde a multiplicando una fila por $k$ .
Así que, para ver cómo $E_1$ , $E_2,\ldots,E_t$ afectan a $\det(B)$ cuando se calcula $\det(E_1\cdots E_tB)$ sólo tienes que llevar la cuenta de (i) el número de veces que intercambiaste las filas; y (ii) las constantes con las que dividiste las filas de $A$ para obtener la rref de $A$ . Cada intercambio de filas multiplica el determinante por $-1$ y dividiendo una fila de $A$ por $k$ multiplica el determinante por $k$ . Por lo tanto, si $s$ es el número de veces que ha intercambiado filas, y $k_1,\ldots,k_r$ son las constantes por las que se han dividido las filas de $A$ entonces $$\det(AB) = \det(E_1\cdots E_t B) = (-1)^sk_1\cdots k_r\det(B),$$ que es el paso con el que estabas teniendo problemas.
Espero que eso ayude.