Por supuesto que debe asumir la X^T A X es invertible para esta ecuación a tener sentido.
Tome \tilde{X} = X + t Y. Entonces
$$\eqalign{\tilde{X}^T \tilde{X} de {Y= X^T X + t (Y^T a X + X^T T T T T) + O(t^2)\cr
&= \left(I + t (Y^T a X + X^T T T T T)(X^T X)^{-1}\right) X^T a X + O(t^2)\cr}
así
$ \det(\tilde{X}^T A \tilde{X}) = \det(I + tM) \det(X^T A X) + O(t^2)$ donde $M = (Y^T A X + X^T A Y)(X^T A X)^{-1}$.
Ahora $\det(I+tM) = \det(\exp(tM)) + O(t^2) = \exp(\text{tr}(tM)) + O(t^2) = 1 + t\; \text{tr}(M) + O(t^2)$. Tenemos
\eqalign{\text{tr}(M) &= \text{tr}(Y^T X (X^T X)^{-1} + X^T T T T T (X^T X)^{-1})\cr
&= \text{tr}(Y^T X (X^T X)^{-1}) + \text{tr}((X^T X)^{-1} X^T T T T T)\cr
Y= 2 \text{tr}(Y^T X (X^T X)^{-1})}
Tomando $Y = E_{ij}$, la matriz de con $1$ en la entrada $(i,j)$ $0$ todas partes,
esto dice
\frac{\partial}{\partial X_{ij}} \det(X^T A X) = 2 \text{tr}(E_{ji} A X (X^TAX)^{-1}) \det(X^T A X) = 2 \det(X^T A X) (A X (X^T A X)^{-1})_{ij}
cual es el significado de
\frac{\partial}{\partial X} \det(X^T A X) = 2 \det(X^T A X) A X (X^T A X)^{-1} $$