Maximizar la expectativa de la función cóncava con respecto a la matriz unitaria

Question

Dejemos que $\mathbf{x} \sim \mathcal{N}(\mathbf{m},\mathbf{C})$ y que $\mathbf{D}$ sea una matriz diagonal con entradas positivas y de la misma dimensión que $\mathbf{C}$ . Sea $f(z)$ sea una función estrictamente creciente y cóncava en $z$ .

Considerando todas las posibles matrices unitarias $\mathbf{U}$ (es decir, $\mathbf{U} \mathbf{U}^{\mathrm{T}}=\mathbf{I}$ ), sospecho que lo siguiente es válido:

\begin{align} \mathrm{argmax}_{\mathbf{U}} \mathbb{E}_{\mathbf{x}} \big[ f \big( \mathbf{x}^{\mathrm{T}} \mathbf{U} \mathbf{D} \mathbf{U}^{\mathrm{T}} \mathbf{x} \big) \big] = \mathrm{argmax}_{\mathbf{U}} f \big( \mathbb{E}_{\mathbf{x}} \big[ \mathbf{x}^{\mathrm{T}} \mathbf{U} \mathbf{D} \mathbf{U}^{\mathrm{T}} \mathbf{x} \big] \big). \end{align}

Sin embargo, no sé cómo demostrarlo formalmente.

• Mi intuición es que, optimizando sobre matrices unitarias $\mathbf{U}$ Sólo estamos jugando con las "direcciones" (nótese que $\mathbf{U} \mathbf{D} \mathbf{U}^{\mathrm{T}}$ puede verse como la eigendecomposición de una matriz simétrica y definida positiva), y sospecho que las direcciones que maximizan $\mathbb{E}_{\mathbf{x}} \big[ f \big( \mathbf{x}^{\mathrm{T}} \mathbf{U} \mathbf{D} \mathbf{U}^{\mathrm{T}} \mathbf{x} \big) \big]$ deben ser los que maximicen $\mathbb{E}_{\mathbf{x}} \big[ \mathbf{x}^{\mathrm{T}} \mathbf{U} \mathbf{D} \mathbf{U}^{\mathrm{T}} \mathbf{x} \big]$ . Sería genial si alguien pudiera confirmarlo.

• Nota: para facilitar las cosas, podemos considerar $f(z) = \log(z)$ (que es estrictamente creciente y cóncavo).

Answer 1

He obtenido el siguiente resultado "parcial", aunque todavía está lejos de responder a su pregunta.

Si $\mathbf{x} \sim \mathcal{N}(\mathbf{m},\mathbf{C})$ y $\mathbf{D}$ es una matriz diagonal, entonces dada una matriz unitaria $\mathbf{U}$ tenemos

$\mathbb{E}_{\mathbf{x}} \big[ \mathbf{x}^{\mathrm{T}} \mathbf{U} \mathbf{D} \mathbf{U}^{\mathrm{T}} \mathbf{x} \big]=\sum\limits_{i,j}(c_{ii}+m_i^2)\cdot u_{ij}^2 \cdot d_j$

donde $c_{ii}$ son los $i$ elemento diagonal de $\mathbf{C}$ ,

$m_i$ es el $i$ elemento de $\mathbf{m}$ ,

$u_{ij}$ sea el elemento de $i$ La tercera fila, $j$ elemento de columna de $\mathbf{U}$ ,

y $d_{j}$ sea el $j$ elemento diagonal de $\mathbf{D}$ .

Prueba :

Nota $\mathbf{U} \mathbf{D} \mathbf{U}^{\mathrm{T}}$ también es una matriz diagonal.

el $i$ elemento diagonal de $\mathbf{U} \mathbf{D} \mathbf{U}^{\mathrm{T}}$ es $\sum_{j}u_{ij}^2\cdot d_j$

Así que $\mathbf{x}^{\mathrm{T}} \mathbf{U} \mathbf{D} \mathbf{U}^{\mathrm{T}} \mathbf{x}=\sum_{i}x_{i}^2 \cdot \sum_{j}u_{ij}^2 \cdot d_j$

Desde $\mathbb{E}_{\mathbf{x}} \big[x_i^2 \big]=c_{ii}+m_i^2$ ,

$\mathbb{E}_{\mathbf{x}} \big[ \mathbf{x}^{\mathrm{T}} \mathbf{U} \mathbf{D} \mathbf{U}^{\mathrm{T}} \mathbf{x} \big]=\sum_{i}\mathbb{E}_{\mathbf{x}} \big[x_{i}^2 \big] \cdot \sum_{j}u_{ij}^2 \cdot d_j=\sum\limits_{i,j}(c_{ii}+m_i^2)\cdot u_{ij}^2 \cdot d_j$

A partir de aquí podemos encontrar alguna solución óptima $\mathbf{U}^\star=\mathrm{argmax}_{\mathbf{U}} \mathbb{E}_{\mathbf{x}} \big[ \mathbf{x}^{\mathrm{T}} \mathbf{U} \mathbf{D} \mathbf{U}^{\mathrm{T}} \mathbf{x} \big]$

Answer 2

Dejemos que $z=\mathbf{x}^{\mathrm{T}} \mathbf{U} \mathbf{D} \mathbf{U}^{\mathrm{T}} \mathbf{x}$ y denotar la función de densidad de probabilidad (PDF) de $z$ como $P_{U}(z)$ .

$P_U(z)$ debe ser una función de $\mathbf{U,m,C,D}$ (aquí sólo consideramos $\mathbf{U}$ como variable).

Con esta transformación de la variable aleatoria $z=\mathbf{x}^{\mathrm{T}} \mathbf{U} \mathbf{D} \mathbf{U}^{\mathrm{T}} \mathbf{x}$ Su pregunta se puede reformular de la siguiente manera:

\begin{equation} argmax_{\mathbf{U}}\mathbb{E}_{z\sim P_U(z)}\big[f(z)\big]=argmax_{\mathbf{U}}f\big(\mathbb{E}_{z\sim P_U(z)}\big[z\big]\big) \end{equation}

Si asumimos $f$ es monótonamente creciente, entonces sólo tenemos que demostrar: \begin{equation} argmax_{\mathbf{U}}\mathbb{E}_{z\sim P_U(z)}\big[f(z)\big]=argmax_{\mathbf{U}}\mathbb{E}_{z\sim P_U(z)}\big[z\big] \end{equation}

En general, esto no es necesariamente cierto. Como podemos ver: \begin{equation} \mathbb{E}_{z\sim P_U(z)}\big[z\big]=\int_{z}z\cdot P_U(z)dz \end{equation}

\begin{equation} \mathbb{E}_{z\sim P_U(z)}\big[f(z)\big]=\int_{z}f(z)\cdot P_U(z)dz \end{equation}

Ambos $\mathbb{E}_{z\sim P_U(z)}\big[z\big]$ y $\mathbb{E}_{z\sim P_U(z)}\big[f(z)\big]$ son una función de $\mathbf{U}$ . Si sus derivados existen, entonces deben ser $0$ en los mínimos locales. Es decir: \begin{equation}\label{eq:cond1} \int_{z}z\cdot \frac{\partial P_U(z)}{\partial \mathbf{U}}dz=0 \end{equation} \begin{equation}\label{eq:cond2} \int_{z}f(z)\cdot \frac{\partial P_U(z)}{\partial \mathbf{U}}dz=0 \end{equation}

Es posible que podamos encontrar algunos $\mathbf{U}$ que satisface las dos ecuaciones anteriores. Pero los conjuntos de soluciones para las dos ecuaciones anteriores pueden probablemente diferir a menos que haya algunas características únicas de $P_U(z)$ y $f$ .

Por cierto, las dos ecuaciones anteriores también conducen a: $ \int_{z}\big(f(z)-z\big)\cdot \frac{\partial P_U(z)}{\partial \mathbf{U}}dz=0 $

$P_U(z)$ , $f$ y óptimo $U^{\star}$ también debe cumplir esta condición.

Si no hay ningún error en el argumento anterior, entonces rechazaría la hipótesis original.

Su hipótesis podría ser cierta si $P_U(z)$ tiene una estructura muy especial (que no he podido derivar). Por lo demás, sólo ciertas $f$ (NO todo el conjunto de funciones monotónicamente cóncavas) puede satisfacer su hipótesis.