Una medida de la varianza global del gaussiano multivariado.

Question

Estoy realizando algunos de regresión de la tarea, donde trato de descubrir el subyacente multivariante Gaussianas a partir de un conjunto de $n$, $p$-dimensiones de los vectores. Por ejemplo, dada una fracción del conjunto, en $S_i$ $S_j$ me va a calcular la muestra de medios y matrices de covarianza (${\sum}_{i,j}$)y decidir cual es la mejor división basada en la ganancia de información(definida por la entropía ($log(det({\sum}_{i,j}))$). Y luego nos recurse en los subconjuntos $S_i$$S_j$.

Estoy tratando de definir algunos criterios de parada para este algoritmo, que básicamente debe ser que cuando la varianza de la distribución es lo suficientemente pequeño (no estoy seguro de cómo definir este umbral) de la parada para evitar el sobre-ajuste a los datos de entrenamiento.

Así que, mis preguntas son:

1) ¿Cómo puedo obtener una medida de la varianza global,$trace({\sum})$?

2) ¿Cómo puedo elegir un umbral adecuado?

Gracias

Answer 1

Como la univariante de la varianza es el promedio del cuadrado de la distancia a la media, $trace(\hat{\bf{\Sigma}})$ es el promedio del cuadrado de la distancia al centro de gravedad: Con $\dot{\bf{X}}$ como la matriz de centrado variables, $\hat{\bf{\Sigma}} = \frac{1}{n} \dot{\bf{X}}' \dot{\bf{X}}$ donde $\dot{\bf{X}}' \dot{\bf{X}}$ es la matriz de productos de puntos de las columnas de a $\dot{\bf{X}}$. Sus elementos de la diagonal son $\dot{\bf{X}}_{\cdot i}' \dot{\bf{X}}_{\cdot i} = (\bf{X}_{\cdot i} - \overline{X}_{\cdot i})' (\bf{X}_{\cdot i} - \overline{X}_{\cdot i})$, es decir, el cuadrado de la distancia de la variable $i$ a su media. Como tal, $trace(\hat{\bf{\Sigma}})$ es una generalización natural de la univariante de la varianza.

Una segunda generalización es $det(\hat{\bf{\Sigma}})$: Esta es una medida para el volumen del elipsoide que caracteriza a la distribución. Más precisamente, $|det(\hat{\bf{\Sigma}})|$ es el factor por el cual el volumen de la unidad de cubo cambia después de aplicar la transformación lineal $\hat{\bf{\Sigma}}$. (explicación). Aquí es una ilustración de la matriz $\left(\begin{smallmatrix}1 & -.5\\ .5 & .5\end{smallmatrix}\right)$ con determinante $0.75$ (a la izquierda: antes, a la derecha: después de la transformación):

No tengo una buena respuesta para la segunda pregunta. Pero parece que el original de las escalas de las variables deben importa como ellos definen lo que la varianza es "pequeña". También podría ser worthwile probar algunos de los umbrales y comprobar la estabilidad de las estimaciones resultantes con (bootstrap) la validación cruzada.