Derivado de la transposición.

Question

Estoy tratando de encontrar un derivado de esto: RQ (u) = u ^T X ^T Xu / u ^T u

Necesito ayuda para encontrar un derivado:

Answer 1

Tenemos $ y = u^T X^T X u $. Calculamos el diferencial de $ y$ $$ dy = (du)^T X^T X u + u^T X^T X (du) \\ dy = Tr ((du)^T X^T X u + u^T X^T X (du)) \\ dy = Tr ( u^T X^T X (du)) + Tr( u^T X^T X (du) ) \\ dy = 2 Tr ( u^T X^T X (du)) \\ dy = 2 (u^T X^T X)^T: du $$ Finalmente, $dy/du = 2 (u^T X^T X)^T = 2 X^T X u $

Información adicional
Aquí he utilizado dos propiedades de la traza:
1) $ Tr(ABC) = Tr(BCA) = Tr(CAB) $
2) $ Tr(c) = c $, donde $c$ es un escalar

Answer 2

La cantidad que usted está interesado en la que se conoce como el Cociente de Rayleigh. Tenemos

$$ \frac{\partial}{\partial u} \frac{u^T X^T X u}{u^T u} = \frac{1}{u^T u} \frac{\partial}{\partial u}(u^T X^T X u) + (u^T X^T X u) \frac{\partial}{\partial u}(u^T u)^{-1} $$

Ahora uso $\frac{\partial}{\partial u} u^T A u = 2Au$ para la matriz simétrica $A$: $$ \implica\frac{\partial}{\partial u} RQ(u) = \frac{2X^T X u }{u^T u} - \frac{ (u^T X^T X u) 2, I, u}{(u^T u)^2} = \frac{2}{u^T u }\big(X^T X - RQ(u)\cdot I\big)u $$

En particular, si $u$ es un maximizer/minimizer de $RQ$ luego

$$ 0 = \frac{\partial}{\partial u} RQ(u) \implies \big(X^T X - RQ(u)\cdot I\big)u =0 $$

Si usted no está seguro acerca de la matriz de derivados, recomiendo esta herramienta en línea: http://www.matrixcalculus.org/, y para fomulas wikipedia y La Matriz Libro de cocina