Por favor, ayúdame a entender qué es la inversa generalizada de una matriz y cómo ayuda en la convergencia en la regresión lineal para la matriz singular.
Respuesta
¿Demasiados anuncios?
dantopa
Puntos
111
Clasificación de las inversiones
Inicio $\mathbf{A}\in\mathbb{C}^{m\times m}_{m}$ . La matriz es cuadrada y tiene rango completo. Por lo tanto, la inversa clásica $\mathbf{A}^{-1}$ existe y satisface dos igualdades: $$ \mathbf{A}^{-1}\mathbf{A} = \mathbf{A}\mathbf{A}^{-1} = \mathbf{I}_{m} $$ El inverso clásico es a la vez un inverso a la izquierda y a la derecha $$ \mathbf{A}^{-L}\mathbf{A} = \mathbf{A}\mathbf{A}^{-R} = \mathbf{I}_{m} $$
¿Y si sólo podemos satisfacer un de estas desigualdades? Al relajar el requisito, generalizamos la noción de inverso. El problema de los mínimos cuadrados desarrolla de forma natural la pseudoinversa de Moore-Penrose, $\mathbf{A}^{+}$ .
Si $\mathbf{A}^{+} \mathbf{A}= \mathbf{I}_{n}$ entonces el pseudoinverso $\mathbf{A}^{+}$ es un izquierda inversa. Cuando $\mathbf{A} \mathbf{A}^{+}= \mathbf{I}_{n}$ el pseudoinverso $\mathbf{A}^{+}$ es un derecha inversa. Cuando el pseudoinverso es un inverso a la izquierda y a la derecha, el pseudoinverso en el inverso clásico.
El caso restante es cuando el pseudoinverso no es un inverso ni a la izquierda ni a la derecha. No existe desigualdad de identidad. El pseudoinverso es un proyector sobre el espacio de columnas de $\mathbf{A}$ .
Cuidado con los espacios nulos
Rango de filas y columnas deficiente
Para $\mathbf{A}\in\mathbb{C}^{m\times n}_{\rho}$ la descomposición en valores singulares es $$ \begin{align} \mathbf{A} &= \mathbf{U} \, \Sigma \, \mathbf{V}^{*} \\ % &= % U \left[ \begin{array}{cc} \color{blue}{\mathbf{U}_{\mathcal{R}}} & \color{red}{\mathbf{U}_{\mathcal{N}}} \end{array} \right] % Sigma \left[ \begin{array}{cc} \mathbf{S}_{\rho\times \rho} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{array} \right] % V* \left[ \begin{array}{c} \color{blue}{\mathbf{V}_{\mathcal{R}}}^{*} \\ \color{red}{\mathbf{V}_{\mathcal{N}}}^{*} \end{array} \right] \\ % \end{align} $$ El pseudoinverso de Moore-Penrose es $$ \begin{align} \mathbf{A}^{+} &= \mathbf{V} \, \Sigma^{+} \, \mathbf{U}^{*} \\ % &= % V \left[ \begin{array}{cc} \color{blue}{\mathbf{V}_{\mathcal{R}}} & \color{red}{\mathbf{V}_{\mathcal{N}}} \end{array} \right] % Sigma \left[ \begin{array}{cc} \mathbf{S}^{-1}_{\rho\times \rho} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{array} \right] % U* \left[ \begin{array}{c} \color{blue}{\mathbf{U}_{\mathcal{R}}}^{*} \\ \color{red}{\mathbf{U}_{\mathcal{N}}}^{*} \end{array} \right] \\ % \end{align} $$
En $\rho<\min\left(m,n\right)$ ambos espacios nulos son no triviales.
Las matrices producto son $$ \begin{align} % \mathbf{A}^{+} \mathbf{A} &= % V \left[ \begin{array}{cc} \color{blue}{\mathbf{V}_{\mathcal{R}}} & \color{red}{\mathbf{V}_{\mathcal{N}}} \end{array} \right] % Sigma \left[ \begin{array}{cc} \mathbf{I}_{\rho} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{array} \right] % V* \left[ \begin{array}{c} \color{blue}{\mathbf{V}_{\mathcal{R}}}^{*} \\ \color{red}{\mathbf{V}_{\mathcal{N}}}^{*} \end{array} \right] % = % \color{blue}{\mathbf{V}_{\mathcal{R}}} \color{blue}{\mathbf{V}^{*}_{\mathcal{R}}} % \ne % \mathbf{I}_{n} \\ %%%%% % \mathbf{A} \mathbf{A}^{+} &= % U \left[ \begin{array}{cc} \color{blue}{\mathbf{U}_{\mathcal{R}}} & \color{red}{\mathbf{U}_{\mathcal{N}}} \end{array} \right] % Sigma \left[ \begin{array}{cc} \mathbf{I}_{\rho} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{array} \right] % U* \left[ \begin{array}{c} \color{blue}{\mathbf{U}_{\mathcal{R}}}^{*} \\ \color{red}{\mathbf{U}_{\mathcal{N}}}^{*} \end{array} \right] % = % \color{blue}{\mathbf{U}_{\mathcal{R}}} \color{blue}{\mathbf{U}^{*}_{\mathcal{R}}} % \ne % \mathbf{I}_{m} % \end{align} $$
Rango de fila deficiente, rango de columna completo
$$ \mathbf{A}\in\mathbb{C}^{m\times n}_{n}, \quad \mathbf{A} = % U \left[ \begin{array}{cc} \color{blue}{\mathbf{U}_{\mathcal{R}}} & \color{red}{\mathbf{U}_{\mathcal{N}}} \end{array} \right] % Sigma \left[ \begin{array}{c} \mathbf{S}_{n\times n} \\ \mathbf{0} \end{array} \right] % V* \left[ \begin{array}{c} \color{blue}{\mathbf{V}_{\mathcal{R}}}^{*} \end{array} \right], \quad %%% \mathbf{A}^{+} = % U \left[ \begin{array}{cc} \color{blue}{\mathbf{V}_{\mathcal{R}}} \end{array} \right] % Sigma \left[ \begin{array}{c} \mathbf{S}^{-1}_{n\times n} & \mathbf{0} \end{array} \right] % V* \left[ \begin{array}{c} \color{blue}{\mathbf{U}_{\mathcal{R}}}^{*} & \color{red}{\mathbf{U}_{\mathcal{N}}}^{*} \end{array} \right] $$ En $\rho=n<m$ sólo el espacio nulo derecho es trivial: $$ \color{red}{\mathcal{N}\left( \mathbf{A}\right)} = \left\{ \mathbf{0} \right\} $$
Las matrices producto son $$ \begin{align} % \mathbf{A}^{+} \mathbf{A} &= % V \left[ \begin{array}{cc} \color{blue}{\mathbf{V}_{\mathcal{R}}} \end{array} \right] % Sigma \left[ \begin{array}{cc} \mathbf{I}_{n} \end{array} \right] % V* \left[ \begin{array}{c} \color{blue}{\mathbf{V}_{\mathcal{R}}}^{*} \end{array} \right] % = % \mathbf{I}_{n} \\ %%%%% % \mathbf{A} \, \mathbf{A}^{+} &= % U \left[ \begin{array}{cc} \color{blue}{\mathbf{U}_{\mathcal{R}}} & \color{red} {\mathbf{U}_{\mathcal{N}}} \end{array} \right] % Sigma \left[ \begin{array}{cc} \mathbf{I}_{n} \\ \mathbf{0} \end{array} \right] % U* \left[ \begin{array}{c} \color{blue}{\mathbf{U}_{\mathcal{R}}}^{*} \\ \color{red} {\mathbf{U}_{\mathcal{N}}}^{*} \end{array} \right] % = % \color{blue}{\mathbf{U}_{\mathcal{R}}} \color{blue}{\mathbf{U}^{*}_{\mathcal{R}}} % \ne % \mathbf{I}_{m} % \end{align} $$ Este pseudoinverso es un inverso de la izquierda: $\mathbf{A}^{+} = \mathbf{A}^{-L}$ .
Rango de columnas deficiente, rango de filas completo
$$ \mathbf{A}\in\mathbb{C}^{m\times n}_{m}, \quad \begin{align} \mathbf{A} = % U \left[ \begin{array}{cc} \color{blue}{\mathbf{U}_{\mathcal{R}}} \end{array} \right] % Sigma \left[ \begin{array}{cc} \mathbf{S}_{m\times m} & \mathbf{0} \end{array} \right] % V* \left[ \begin{array}{c} \color{blue}{\mathbf{V}_{\mathcal{R}}}^{*} \\ \color{red}{\mathbf{V}_{\mathcal{N}}}^{*} \end{array} \right] , \quad \mathbf{A}^{+} = % V \left[ \begin{array}{cc} \color{blue}{\mathbf{V}_{\mathcal{R}}} \end{array} \right] % Sigma \left[ \begin{array}{cc} \mathbf{S}^{-1}_{m\times m} \\ \mathbf{0} \end{array} \right] % U* \left[ \begin{array}{c} \color{blue}{\mathbf{U}_{\mathcal{R}}}^{*} \\ \color{red}{\mathbf{U}_{\mathcal{N}}}^{*} \end{array} \right] \\ % \end{align} $$
En $\rho=m<n$ sólo el espacio nulo izquierdo es trivial, $$ \color{red}{\mathcal{N}\left( \mathbf{A}^{*}\right)} = \left\{ \mathbf{0} \right\} $$
Las matrices producto son $$ \begin{align} % \mathbf{A}^{+} \mathbf{A} &= % V \left[ \begin{array}{cc} \color{blue}{\mathbf{V}_{\mathcal{R}}} \end{array} \right] % Sigma \left[ \begin{array}{cc} \mathbf{I}_{m} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{array} \right] % V* \left[ \begin{array}{c} \color{blue}{\mathbf{V}_{\mathcal{R}}}^{*} \end{array} \right] = \color{blue}{\mathbf{V}_{\mathcal{R}}} \color{blue}{\mathbf{V}^{*}_{\mathcal{R}}} % \ne % \mathbf{I}_{n} \\ %%%%% % \mathbf{A}\, \mathbf{A}^{+} &= % U \left[ \begin{array}{cc} \color{blue}{\mathbf{U}_{\mathcal{R}}} \end{array} \right] % Sigma \left[ \begin{array}{cc} \mathbf{I}_{m} \end{array} \right] % U* \left[ \begin{array}{c} \color{blue}{\mathbf{U}_{\mathcal{R}}}^{*} \end{array} \right] % = \color{blue}{\mathbf{U}_{\mathcal{R}}} \color{blue}{\mathbf{U}^{*}_{\mathcal{R}}} % = \mathbf{I}_{m} % \end{align} $$ Por lo tanto, el pseudoinverso es un inverso recto: $\mathbf{A}^{+} = \mathbf{A}^{-R}$ .
Rango de columna completo deficiente, rango de fila completo
$$ \mathbf{A}\in\mathbb{C}^{m\times m}_{m}, \quad \begin{align} \mathbf{A} = % U \left[ \begin{array}{cc} \color{blue}{\mathbf{U}_{\mathcal{R}}} \end{array} \right] % Sigma \left[ \begin{array}{cc} \mathbf{S}_{m\times m} \end{array} \right] % V* \left[ \begin{array}{c} \color{blue}{\mathbf{V}_{\mathcal{R}}}^{*} \end{array} \right] , \quad \mathbf{A}^{+} = % V \left[ \begin{array}{cc} \color{blue}{\mathbf{V}_{\mathcal{R}}} \end{array} \right] % Sigma \left[ \begin{array}{cc} \mathbf{S}^{-1}_{m\times m} \end{array} \right] % U* \left[ \begin{array}{c} \color{blue}{\mathbf{U}_{\mathcal{R}}}^{*} \end{array} \right] \\ % \end{align} $$
En $\rho=m$ ambos espacios nulos son triviales, $$ \begin{align} % \color{red}{\mathcal{N}\left( \mathbf{A}\right)} &= \left\{ \mathbf{0} \right\} \\ % \color{red}{\mathcal{N}\left( \mathbf{A}^{*}\right)} &= \left\{ \mathbf{0} \right\} \end{align} % $$
Las matrices producto son $$ \begin{align} % \mathbf{A}^{+} \mathbf{A} &= \mathbf{I}_{m} \\ %%%%% % \mathbf{A}\, \mathbf{A}^{+} &= \mathbf{I}_{m} % \end{align} $$ Por lo tanto, el pseudoinverso es a la vez un inverso recto: $\mathbf{A}^{+} = \mathbf{A}^{-R}$ y un inverso izquierdo: $\mathbf{A}^{+} = \mathbf{A}^{-L}$ .
