En $HOX = OX$ implica $HO^TX = O^TX$ ?

Question

Supongamos que $X \in \mathbb{R}^{n \times p}$ tiene rango $p$ y que $H = X(X^TX)^{-1}X^T$ sea la matriz de proyección correspondiente. Si existe una matriz ortogonal $O \in \mathbb{R}^{n \times n}$ tal que $HOX = OX$ me pregunto si su inversa también satisface esta identidad, es decir,

$$HO^TX = O^TX. \tag{*}$$

Este problema tiene su origen en un enunciado de un libro de texto de estadística, en el que se afirma que, en las condiciones indicadas anteriormente, el conjunto de matrices ortogonales

$$\mathcal{G} = \{O \in \mathcal{O}: HOX = OX\}$$

forma un grupo (asumo que la operación de grupo se define naturalmente como multiplicación de matrices). Para comprobarlo, es necesario demostrar $(*)$ para que todos los miembros de $\mathcal{G}$ tiene su elemento de inversión también en $\mathcal{G}$ . Este hecho aparentemente trivial resulta ser todo un reto para mí. ¿Es realmente técnico o podría $\mathcal{G}$ ¿no ser un grupo?

Answer 1

Dicho así, parece difícil. Pero uno puede ver que $$\tag1 \mathcal G=\{O:\ O\mathcal X=\mathcal X\}, $$ donde $\mathcal X$ es el rango de $X$ .

Ahora la igualdad $O\mathcal X=\mathcal X$ es lo mismo que $O^T\mathcal X=\mathcal X$ y si $U,V\in\mathcal G$ entonces $UV\mathcal X=U\mathcal X=\mathcal X$ . Así que $\mathcal G$ es un grupo.

---

Prueba de $(1)$

Si $O\mathcal X=\mathcal X$ para cualquier $v\in\mathbb R^p$ existe $w\in\mathbb R^p$ con $OXv=Xw$ como $HX=X$ obtenemos $HOXv=HXw=Xw=OXv$ . Como esto funciona para todos $v$ obtenemos $HOX=OX$ .

Por el contrario, si $HOX=OX$ para cualquier $v\in\mathbb R^p$ tenemos $OXv=HOXv\in\mathcal X$ . Así que $O\mathcal X\subset \mathcal X$ . En $O$ preserva la dimensión (por ser inyectiva), $O\mathcal X=\mathcal X$ .

Answer 2

Tenga en cuenta que $H=X(X^TX)^{-1}X^T$ es el proyección ortogonal al espacio de columnas de $X$ , $\mathrm{ran}(X)=\{Xu:u\in\Bbb R^p\}$ :

• $HXu=X(X^TX)^{-1}X^TXu=Xu$
• Si $v\perp\mathrm{ran}(X)$ entonces $X^Tv=0$ lo que implica $Hv=0$ .

Por el contrario, si $Hv=v$ entonces ya está en el subespacio proyectado: se deduce que $v\in\mathrm{ran}(X)$ y del mismo modo $Hv=0$ implica $v\perp\mathrm{ran}(X)$ .

Así que.., $HOX=OX$ significa que $HOx_i=Ox_i$ para todas las columnas $x_i$ de $X$ Eso es, $Ox_i\in\mathrm{ran}(X)$ : lo conseguiremos $O$ guarda $\mathrm{ran}(X)$ invariante . Ciertamente, entonces $O^{-1}$ también lo hace:
Para cada columna, $O^{-1}x_i\in\mathrm{ran}(X)$ de ahí $HO^{-1}x_i=O^{-1}x_i$ por lo anterior.

Answer 3

Aquí reescribiré la respuesta de Martin para que conste, utilizando las notaciones con las que estoy más familiarizado y añadiré algunos detalles más.

Sea $\textrm{Im}(A)$ y $\textrm{Ker}(A)$ denotan el espacio de rango (o imagen) y el espacio de núcleo de cualquier cartografía lineal (o matriz) $A$ respectivamente. Defina \begin{align} \mathcal{G}' = \{O \in \mathcal{O}: \textrm{Im}(OX) = \textrm{Im}(X)\} \end{align}

Queremos demostrar que $\mathcal{G} = \mathcal{G}'$ y si $O \in \mathcal{G}'$ entonces $O^T \in \mathcal{G}'$ completando así la prueba.

Primero mostramos $\mathcal{G} = \mathcal{G}'$ .

Si $O \in \mathcal{G}'$ para cualquier $v \in \mathbb{R}^p$ existe $w \in \mathbb{R}^p$ tal que $OXv = Xw$ Por lo tanto $$HOXv = HXw = Xw = OXv, $$ ya que esto es válido para todos $v$ concluimos $HOX = OX$ es decir, $O \in \mathcal{G}$ .

Por el contrario, si $O \in \mathcal{G}$ para cualquier $v \in \mathbb{R}^p$ , $OXv = HOXv = X(X^TX)^{-1}X^TOXv \in \textrm{Im}(X)$ lo que implica $\textrm{Im}(OX) \subset \text{Im}(X)$ . Por otra parte, $\textrm{Ker}(OX) = \textrm{Ker}(X)$ (esto es lo que Martin quiere decir " $O$ siendo inyectiva") y el teorema de la dimensión del núcleo de rango afirman que $\dim(\textrm{Im}(OX)) = \dim(\textrm{Im}(X))$ . Junto con $\textrm{Im}(OX) \subset \text{Im}(X)$ se deduce que $\textrm{Im}(OX) = \text{Im}(X)$ es decir, $O \in \mathcal{G}'$ .

A continuación mostramos si $O \in \mathcal{G}'$ entonces $O^T \in \mathcal{G}'$ .

Para cualquier $v \in \mathbb{R}^p$ , $Xv \in \textrm{Im}(X) = \textrm{Im}(OX)$ implica que existe $w \in \mathbb{R}^p$ tal que $Xv = OXw$ Por lo tanto $O^TXv = Xw \in \textrm{Im}(X)$ es decir, $\textrm{Im}(O^TX) \subset \textrm{Im}(X)$ .

A la inversa, para cualquier $v \in \mathbb{R}^p$ , $OXv \in \textrm{Im}(OX) = \textrm{Im}(X)$ implica que existe $w \in \mathbb{R}^p$ tal que $OXv = Xw$ Por lo tanto $Xv = O^TXw \in \textrm{Im}(O^TX)$ es decir, $\textrm{Im}(X) \subset \textrm{Im}(O^TX)$ .