¿Cómo elegir los libros?

Question

ZCA de blanqueamiento puede utilizar la regularización, como en

$$\tilde{X} = L\sqrt{(D + \epsilon)^{-1} L}^{-1}X,$$

donde $LDL^\top$ es un eigendecomposition de la muestra de la matriz de covarianza. Lo que es una buena opción para el parámetro de regularización $\epsilon$?

Supongo que uno podría hacer por separado unregularized ZCA de blanqueamiento en la entrada-salida de datos $X'$:

$$\tilde{X'} = L'\sqrt{D'^{-1}}L'^{-1}X'$$

y, a continuación, elija $\epsilon$ que minimiza la diferencia entre el cabo-cabo blanqueado de datos y la entrada-salida de datos blanqueados mediante la regularización de la ZCA desarrollado utilizando los datos de entrenamiento:

$$\tilde{Y}(\epsilon) = L\sqrt{(D + \epsilon)^{-1} L}^{-1}X'$$

$$\epsilon^* = \mathrm{argmin} \|\tilde{Y}(\epsilon) - \tilde{X'}\|$$

Me pregunto, sin embargo, si hay más fácil o más basada en los principios de los enfoques para la elección de $\epsilon$ o de la regularización de la PCA/ZCA en general.

Answer 1

Si los datos Gaussiana fue distribuido con una media de $0$ y desconocido covarianza $\Sigma$ y ponemos un inverso de Wishart antes en $\Sigma$, $$\begin{align} \Sigma &\sim \mathcal{W^{-1}}(\Psi, \nu), \\ x &\sim \mathcal{N}(0, \Sigma), \end{align}$$ la posterior expectativa de $\Sigma$ sería $$\frac{XX^\top + \Psi}{n + \nu - p - 1},$$ donde $n$ es el número de puntos de datos y $p$ es la dimensionalidad de los datos. La elección de $\Psi = I$$\nu = p + 1$, por ejemplo, podemos obtener $$\frac{XX^\top + I}{n} = C + \frac{1}{n}I = L\left(D + \frac{1}{n}I\right)L^\top,$$ donde $C = XX^\top/n$. Una buena opción para$\epsilon$, por lo que puede ser $1/n$.

Usted podría ir un paso más allá y estimar correctamente la covarianza utilizando una normal inverso de Wishart antes, es decir, teniendo la incertidumbre de la media en cuenta también. Derivaciones para la parte posterior se puede encontrar en (Murphy, 2007).