EDICIÓN MÁS ANTIGUA. (Derivación elemental) Me di cuenta de que mi respuesta original era en realidad overkill para la pregunta. Dicha integral en cuestión se deduce de la definición de la función Gamma multivariante
\begin{equation*} \Gamma_p(a) := \int_{A > 0} \exp(-\mbox{tr}(A))\det(A)^{a-(p+1)/2}(dA), \end{equation*} donde $\Re(a)>(p-1)/2$ .
De aquí se deduce (por cambio de variables) que para una matriz definida positiva $S$ , \begin{equation*} \int_{A > 0} \exp(-\mbox{tr}(S^{-1}A))\det(A)^{a-(p+1)/2}(dA) = \Gamma_p(a)\det(S)^a, \end{equation*} para que con $S=(I-U)^{-1}$ obtenemos la integral en cuestión.
Por supuesto, para completar el cuadro puede ser útil expresar $\Gamma_p(a)$ en términos más elementales. El capítulo 2 del libro de Muirhead proporciona estos detalles. Cito el resultado que proporciona esta expresión.
Teorema (Muirhead (1982), Thm 2.1.2) Sea $\Re(a) > (p-1)/2$ . Entonces, $$ \Gamma_p(a) = \pi^{p(p-1)/4}\prod_{j=1}^p \Gamma(a - (j-1)/2) $$
(Sugerencia: Para demostrar lo anterior, escriba la fórmula Descomposición Cholesky $A=T'T$ con este cambio de variables, la integral Gamma original se factoriza en un producto de integrales Gaussianas y Gamma).
La parte que he recordado a continuación proporciona otra representación que expresa las lhs determinantes multiplicativas en términos de una suma infinita.
COSAS MÁS VIEJAS
En realidad, se trata de un conocimiento algo clásico. Aquí tienes dos indicaciones relacionadas.
A partición $\tau=(t_1,\ldots,t_m)$ es un vector de números enteros no negativos enumerados en orden creciente, y $|\tau|$ indica $t_1+\cdots+t_m$ . En Pochhammer generalizado símbolo $(a)_\tau$ se define como \begin{equation*} \newcommand{\risingf}[2]{{{#1}}^{\overline{{#2}}}} (a)_\tau := \frac{\Gamma_d(a+\tau)}{\Gamma_d(a)} = \prod_{l=1}^m \risingf{\bigl(a - \tfrac{1}{2}(l-1)\bigr)}{t_l} \end{equation*}
Sea $C_\tau(X)$ sea el Polinomio zonal con partición de firma $\tau$ . Entonces, existe la siguiente representación
Para una matriz $U$ satisfaciendo $\|U\| < 1$ tenemos el siguiente "teorema binomial"
\begin{equation} \frac{1}{|I-U|^a} = \sum_{k\ge 0}\sum_{|\tau| = k} \frac{(a)_\tau C_\tau(U)}{k!}. \end{equation}
Utilizando representaciones para estos polinomios zonales, se puede obtener la representación integral mencionada en el post original.
Más directamente, puede consultar el capítulo 7 del R. Muirhead, "Aspectos de la teoría estadística multivariante" donde verás que en realidad, $|I-U|^{-a}={}_1F_0(a;U)$ una función hipergeométrica de argumento matricial. Tengo que correr ahora, si tengo la oportunidad voy a limpiar mi respuesta y completar los detalles.
