Gran pregunta.
La razón por la que esto es cierto es porque, si una matriz dada $A$ es invertible, entonces existe una secuencia de matrices $E_1, E_2, \dots, E_m$ tal que
$$E_m E_{m-1} \cdots E_2 E_1 A = A^{-1}$$
Llamamos a estas matrices matrices elementales . Estas matrices se encargan de las operaciones de fila que podemos hacer en las matrices, como intercambiar filas, multiplicar una fila por una constante, o incluso multiplicar una fila por una constante y sumarla a otra fila (exactamente lo que hacemos en la eliminación guasiana). Por ejemplo, consideremos la matriz
$$E_1 = \left( \begin{array}{rc} 1 & 0 \\ -4 & 1 \end{array} \right)$$
Si multiplicamos por la izquierda su matriz $A$ por $E_1$ obtenemos
$$\left( \begin{array}{rc} 1 & 0 \\ -4 & 1 \end{array} \right) \left( \begin{array}{cc} 1 & 3 \\ 4 & 2 \end{array} \right) = \left( \begin{array}{cr} 1 & 3 \\ 0 & -10 \end{array} \right)$$
que es la matriz que obtenemos tras el primer paso de eliminación guassiana sobre su matriz $A$ ¡! Pero fíjate bien: si intentas encontrar la inversa de $A$ adjuntando la identidad a la derecha y reduciendo la fila $A$ hasta la identidad, entonces $E_1$ aparece a la derecha (en lugar de la identidad que adjuntaste) después de tu primer paso.
Ahora, considere
$$E_2 = \left( \begin{array}{rr} 1 & 0 \\ 0 & -1/10 \end{array} \right)$$
y observar que
$$E_2 E_1 A = \left( \begin{array}{rr} 1 & 0 \\ 0 & -1/10 \end{array} \right) \left( \begin{array}{cr} 1 & 3 \\ 0 & -10 \end{array} \right) = \left( \begin{array}{cc} 1 & 3 \\ 0 & 1 \end{array} \right)$$
que es la matriz que se obtiene después de multiplicar la segunda fila por $-1/10$ algo que podría ser útil en nuestra eliminación guasiana porque queremos $A$ para ser finalmente la identidad. Si haces eso en tus pasos de tratar de invertir $A$ Obsérvese que, después de multiplicar la segunda fila, la matriz adjunta al lado derecho se convierte en
$$E_2 E_1 = \left( \begin{array}{cc} 1 & 0 \\ 2/5 & -1/10 \end{array} \right)$$
Por último, considere
$$ E_3 = \left( \begin{array}{cr} 1 & -3 \\ 0 & 1 \end{array} \right)$$
y observar que
$$E_3 E_2 E_1 A = \left( \begin{array}{cr} 1 & -3 \\ 0 & 1 \end{array} \right) \left( \begin{array}{cc} 1 & 3 \\ 0 & 1 \end{array} \right) = \left( \begin{array}{cr} 1 & 0 \\ 0 & 1 \end{array} \right)$$
que es la matriz que se obtiene tras el paso final de eliminación guassiana de $A$ (multiplicando la segunda fila por $-3$ y añadirlo a la primera fila de $A$ ). Pero, ¡mira!
$$E_3 E_2 E_1 = \left( \begin{array}{cr} 1 & -3 \\ 0 & 1 \end{array} \right)\left( \begin{array}{cc} 1 & 0 \\ 2/5 & -1/10 \end{array} \right) = \left( \begin{array}{cr} -1/5 & 3/10 \\ 2/5 & -1/10 \end{array} \right)$$
que es la inversa de $A$ y también ha aparecido en el lado derecho en lugar de la identidad que adjuntaste inicialmente.
Básicamente, cuando haces operaciones de fila con una matriz de identidad adjunta a la derecha, estás registrando todos estos pasos como matrices elementales. Cuando aplicas múltiples operaciones de fila, estos pasos se acumulan en el lado derecho. Este proceso de acumulación es lo mismo que multiplicar las matrices elementales que gobiernan estos pasos de eliminación guasiana. Al final, una vez $A$ se ha reducido a la identidad y se han registrado todos los pasos, se obtiene la identidad, y esto es lo mismo que multiplicar todas las matrices elementales que necesitabas juntas.