¿Cómo se relaciona el espacio nulo con la descomposición en valores singulares?

Question

Se dice que el espacio nulo de una matriz se puede derivar de QR o SVD. Intenté un ejemplo: $$A= \begin{bmatrix} 1&3\\ 1&2\\ 1&-1\\ 2&1\\ \end{bmatrix}$$ Estoy convencido de que QR (más precisamente, las últimas dos columnas de Q) da el espacio nulo: $$Q= \begin{bmatrix} -0.37796& -0.68252& -0.17643& -0.60015\\ -0.37796& -0.36401& 0.73034& 0.43731\\ -0.37796& 0.59152& 0.43629& -0.56293\\ -0.75593& 0.22751& -0.4951& 0.36288\\ \end{bmatrix}$$ Sin embargo, ni $U$ ni $V$ producidos por SVD ($A=U\Sigma V^*$) hacen que $A$ sea cero (Probé con 3 bibliotecas: JAMA, EJML y Commons): $$U= \begin{bmatrix} 0.73039& 0.27429\\ 0.52378& 0.03187\\ -0.09603& -0.69536\\ 0.42775& -0.66349\\ \end{bmatrix}$$ $$\Sigma= \begin{bmatrix} 4.26745& 0\\ 0& 1.94651\\ \end{bmatrix}$$ $$V= \begin{bmatrix} 0.47186& -0.88167\\ 0.88167& 0.47186\\ \end{bmatrix}$$ Esto contradice a

Usando el SVD, si $A=U\Sigma V^*$, entonces las columnas de $V^*$ correspondientes a los valores singulares pequeños (es decir, las entradas diagonales pequeñas de $\Sigma$ ) conforman una base para el espacio nulo.

Answer 1

[El OP está respondido, pero me gustaría incluir un recordatorio rápido y conciso de cierta observación sobre simetrías...]

---

1. Espacio nulo izquierdo:

$A= \begin{bmatrix} 1&3\\ 1&2\\ 1&-1\\ 2&1\\ \end{bmatrix}$

En lenguaje estadístico R,

A = matrix(c(1,1,1,2,3,2,-1,1), ncol = 2)
r = qr(A)$rank            # Rango 2
SVD.A = svd(A, nu = nrow(A)) 
SVD.A$u    # Extrayendo la matriz U de él...

$U=\begin{bmatrix}-0.73038560& -0.27428549& \color{blue}{-0.1764270}& \color{blue}{-0.6001482}\\ -0.52378089& -0.03187309& \color{blue}{0.7303387}& \color{blue}{0.4373135}\\ 0.09603322& 0.69536411& \color{blue}{0.4362937}& \color{blue}{-0.5629335}\\ -0.42774767& 0.66349102& \color{blue}{-0.4951027}& \color{blue}{0.3628841} \end{bmatrix}$

t.U.A = t(SVD.A$u)
(left_null = t.U.A[(r + 1):nrow(t.U.A),])
           [,1]      [,2]       [,3]       [,4]
[1,] -0.1764270 0.7303387  0.4362937 -0.4951027
[2,] -0.6001482 0.4373135 -0.5629335  0.3628841

colSums(left_null) %*% A

Por lo tanto,

$\left[\alpha\begin{bmatrix}-0.1764270\\ 0.7303387\\ 0.4362937\\ -0.4951027\end{bmatrix}^\top +\beta\begin{bmatrix}-0.6001482\\ 0.4373135\\ -0.5629335\\ 0.3628841\end{bmatrix}^\top\right]\; \begin{bmatrix} 1&3\\ 1&2\\ 1&-1\\ 2&1\\ \end{bmatrix} = \mathbf 0$

con $\alpha$ y $\beta$ siendo escalares.

---

2. Espacio nulo derecho:

Definiendo la matriz $B$ como la transpuesta de $A$,

$B= \begin{bmatrix}1&1&1&2\\3&2&-1&1\end{bmatrix}$

B = t(A)
r = qr(B)$rank  # Naturalmente también tendrá rango 2.
SVD.B = svd(B, nv = ncol(B)) 
SVD.B$v    # Extrayendo la matriz V de él...

$V = \begin{bmatrix}-0.73038560& -0.27428549& \color{blue}{-0.1764270}& \color{blue}{-0.6001482}\\ -0.52378089& -0.03187309& \color{blue}{0.7303387}& \color{blue}{0.4373135}\\ 0.09603322& 0.69536411& \color{blue}{0.4362937}& \color{blue}{-0.5629335}\\ -0.42774767& 0.66349102& \color{blue}{-0.4951027}& \color{blue}{0.3628841} \end{bmatrix}$

(right_null = SVD.B$v[ ,(r + 1):ncol(B)])
           [,1]       [,2]
[1,] -0.1764270 -0.6001482
[2,]  0.7303387  0.4373135
[3,]  0.4362937 -0.5629335
[4,] -0.4951027  0.3628841

B %*% rowSums(right_null)

Por lo tanto,

$\begin{bmatrix}1&1&1&2\\3&2&-1&1\end{bmatrix}\;\left[\alpha\begin{bmatrix}-0.1764270\\ 0.7303387\\ 0.4362937\\ -0.4951027\end{bmatrix} +\beta\begin{bmatrix}-0.6001482\\ 0.4373135\\ -0.5629335\\ 0.3628841\end{bmatrix}\right].$

---

En Matlab:

% Null izquierdo:

A = [1 3; 1 2; 1 -1; 2 1];
rank(A);
[U,S,V] = svd(A);
left_null_A = transpose(U);
rows = (rank(A) + 1): size(left_null_A,1);
left_null_A = left_null_A(rows,:)
(left_null_A(1,:) + left_null_A(2,:)) * A

% Null derecho:

B = transpose(A);
rank(B);
[U,S,V] = svd(B);
right_null_B = transpose(V);
rows = (rank(B) + 1): size(right_null_B,1);
right_null_B(rows,:)
right_null_B = transpose(right_null_B(rows,:))
B * (right_null_B(:,1) + right_null_B(:,2))
---

En Python:

Python:

# Null izquierdo:

import numpy as np

A = np.matrix([[1,3], [1,2], [1, -1], [2,1]])
rank = np.linalg.matrix_rank(A)
U, s, V = np.linalg.svd(A, full_matrices = True)
t_U_A = np.transpose(U)
nrow = t_U_A.shape[0]
left_null_A = t_U_A[rank:nrow,:]
left_null_A
np.dot((left_null_A[0,:] + left_null_A[0,:]), A)

# Null derecho:

B = np.transpose(A)
rank = np.linalg.matrix_rank(B)
U, s, V = np.linalg.svd(B, full_matrices = True)
t_V_B = np.transpose(V)
ncols = t_V_B.shape[1]
right_null_B = t_V_B[:,rank:ncols]
right_null_B
np.dot(B, (right_null_B[:,0] + right_null_B[:,1]))

Answer 2

Para una matriz $m \times n$, donde $m \geq n$, la SVD "completa" está dada por $$A = U\Sigma V^t$$ donde $U$ es una matriz $m \times m$, $\Sigma$ es una matriz $m \times n$ y $V$ es una matriz $n \times n$. Has calculado la versión "económica" de la SVD donde $U$ es $m \times n$ y $S$ es $n \times n$. Por lo tanto, has perdido la información sobre el espacio nulo izquierdo dada por la matriz "completa" $U$. La SVD completa está dada por $$U = \left[ \begin{array}{cc} -0.7304 & -0.2743 & -0.1764 & -0.6001 \\ -0.5238 & -0.0319 & 0.7303 & 0.4373\\ 0.0960 & 0.6954 & 0.4363 & -0.5629 \\ -0.4277 & 0.6635 & -0.4951 & 0.3629 \end{array} \right],$$

$$\Sigma = \left[ \begin{array}{cc} 4.2674 & 0 \\ 0 & 1.9465 \\ 0 & 0 \\ 0 & 0 \end{array} \right],$$

$$V = \left[ \begin{array}{cc} -0.4719 & 0.8817 \\ -0.8817 & -0.4719 \end{array} \right].$$ Si necesitas los espacios nulos entonces debes usar la SVD "completa". Sin embargo, la mayoría de los problemas no requieren la SVD "completa".