Descomposición de valores propios de la matriz de covarianza de bloques para el análisis de correlación canónica (CCA)

Question

Editado:

Mi pregunta está relacionada con un tutorial Estaba leyendo.

La matriz de covarianza es una matriz de bloques donde $C_{xx}$ y $C_{yy}$ son matrices de covarianza dentro del conjunto y $C_{xy} = C_{yx}^T$ son matrices de covarianza entre conjuntos.

$$ \left[\begin{array}{r r} C_{xx} & C_{xy}\\ C_{yx} & C_{yy} \end{array}\right] $$

El tutorial dice que las correlaciones canónicas entre $x$ y $y$ se puede encontrar resolviendo las ecuaciones de valores propios

$$ C_{xx}^{-1}C_{xy}C_{yy}^{-1}C_{yx} \hat w_x = \rho^2 \hat w_x \\ C_{yy}^{-1}C_{yx}C_{xx}^{-1}C_{xy} \hat w_y = \rho^2 \hat w_y $$

donde los valores propios son las correlaciones canónicas al cuadrado y los vectores propios y son los vectores base de correlación canónica normalizados.

Lo que no entiendo es cómo se encuentran las ecuaciones de valores propios utilizando la matriz de covarianza. ¿Puede alguien explicar cómo se obtienen esos conjuntos de ecuaciones?

Gracias.

Answer 1

Correlación canónica entre dos vectores aleatorios $X$ y $Y$ se obtiene como la máxima correlación entre $a^TX$ y $b^TY$ donde el máximo se toma sobre los vectores $a$ y $b$ . Podemos suponer sin pérdida de generalidad que $a^T \Sigma_x a = b^T \Sigma_y b = 1$ . Supongamos también, para simplificar, que $E(X) = 0$ y $E(y) = 0$ . La correlación entre $a^TX$ y $b^TY$ es sólo $$E(a^T X)(b^TY) = E(a^T X)(Y^Tb) = a^T E(XY^T) b = a^T \Sigma_{xy}b.$$

Ahora puedes utilizar la dualidad de Lagrange o la de Cauchy-Schwarz. Digamos que utilizamos la dualidad de Lagrange. El óptimo debe maximizar $$a^T \Sigma_{xy}b -\frac12\mu (a^T \Sigma_x a) - \frac12\lambda (b^T \Sigma_y b)$$ en $a$ y $b$ . ( $\frac12$ s en lo anterior son por conveniencia). Diferenciando con respecto a $a$ y $b$ da $$ \begin{align*} \Sigma_{xy} b - \mu \Sigma_x a &= 0 \\ \Sigma_{yx} a- \lambda \Sigma_y b &= 0, \end{align*} $$ Multiplicando el primero por $a^T$ y el segundo por $b^T$ y la aplicación de las restricciones muestra que $\mu = \lambda$ . Entonces, si $\Sigma_x$ y $\Sigma_y$ son invertibles puedes resolver las ecuaciones para lo que tienes. Es decir, $$ \begin{align*} \Sigma_x^{-1} \Sigma_{xy} b - \mu a &= 0 \\ \Sigma_y^{-1} \Sigma_{yx} a- \mu b &= 0, \end{align*} $$ que implica $$ \begin{align*} \frac{1}{\mu} \Sigma_x^{-1} \Sigma_{xy} \Sigma_y^{-1} \Sigma_{yx} a - \mu a &= 0 \end{align*} $$

Answer 2

Puedes encontrar la ecuación de valores propios a partir de la forma lagrangiana de la CCA. Espero que sea de ayuda.

PD: No sé cómo escribir látex en la respuesta:(