Estimación de la matriz de covarianza

Question

Supongamos que tenemos $n$ vectores aleatorios iid $y_1, y_2, …, y_n$ normalmente distribuido con media cero y matriz de covarianza desconocida $M$ . Cada vector tiene un tamaño $p$ . Conozco muchos métodos que proporcionan una estimación dispersa de la verdadera matriz de covarianza desconocida.

Mi pregunta: Considere el caso cuando $p\gg n$ . ¿Es posible tener una matriz de covarianza estimada que sea mejor que la verdadera? Me refiero a que pueda utilizar la nueva covarianza estimada en lugar de la verdadera (que se supone conocida ahora) en aplicaciones específicas como la detección de imágenes hiperespectrales, la clasificación, etc.

Por ejemplo: Tomemos el artículo de Ledoit y Wolf titulado "Un estimador bien condicionado para matrices de covarianza de gran dimensión" . Desarrollaron un nuevo estimador que es la media ponderada entre la covarianza de la muestra y la matriz de identidad. En el artículo mencionan que el nuevo estimador es más preciso que cualquiera de ellos (página 2). Así que si consideramos que la verdadera matriz de covarianza, que es desconocida, es efectivamente la identidad (basta con crear esta hipótesis), podemos esperar que el nuevo estimador de Ledoit y Wolf sea mejor. ¿No es lógico lo que estoy suponiendo?

Cualquier ayuda será muy apreciada.

Answer 1

Lo que describes me suena a regresión de cresta o regularización de Tikhonov . Se añade una cresta a la diagonal, es decir, una matriz de identidad escalada.

El problema es que si tienes más variables que observaciones, es decir $p>>n$ En algunos modelos, por ejemplo, un modelo lineal, no se pueden estimar los parámetros. Si tiene un modelo: $$ \mathbf{y} = \mathbf{X}\beta + \epsilon $$ Donde $\mathbf{y}$ es $n\times 1$ y $\mathbf{X}$ es $n\times p$ . Ahora la estimación de $\beta$ es de la forma: $$ \hat{\beta} = (\mathbf{X}^T \mathbf{X})^{-1}\mathbf{X}^T \mathbf{y} $$

Obsérvese que la matriz $\mathbf{X}^T \mathbf{X}$ tendrá un rango deficiente si $p>>n$ (aquí la matriz $\sigma^2(\mathbf{X}^T \mathbf{X})^{-1}$ es la matriz de covarianza de los parámetros $\beta$ ). Por lo tanto, tenemos que añadir alguna forma de regularización para poder obtener una solución, porque eso requiere que invirtamos esta matriz. Uno de estos tipos es el que mencionas.

Así que esto es mejor, porque no podemos obtener ninguna estimación a menos que desechemos algunas de las variables o añadamos alguna forma de regularización.

EDITAR: Para responder a su pregunta de si esta estimación presentada en el documento es mejor que la verdadera matriz de covarianza, debería leer las conlusiones del documento:

En este trabajo, hemos discutido la estimación de la covarianza de grandes dimensiones donde el número de variables (iid) no es pequeño en comparación con el tamaño de la muestra. Es bien sabido que en tales situaciones el estimador habitual, la matriz de covarianza de la muestra de covarianza de la muestra, está mal condicionado y puede incluso no ser invertible. El enfoque sugerido es reducir la matriz de covarianza de la muestra hacia la matriz de identidad, lo que significa considerar una combinación lineal convexa de estas dos matrices. El problema práctico de problema práctico es determinar la intensidad de la contracción, es decir, la cantidad de de contracción de la matriz de covarianza de la muestra hacia la matriz de identidad. Para resolver este problema, consideramos un marco asintótico general en el que el número de variables tiende a infinito con el tamaño de la muestra. Se ha visto que bajo condiciones leves, la intensidad de contracción óptima tiende a una constante límite; En este caso, la optimización se refiere a una función de pérdida cuadrática basada en la norma de Frobenius. norma de Frobenius. Se demostró que la intensidad de contracción asintóticamente óptima puede ser estimada de forma consistente, lo que conduce a un estimador factible. Tanto los resultados asintóticos y las extensas simulaciones de Monte-Carlo presentadas en este Este artículo indica que el estimador de contracción sugerido puede servir como alternativa a la covarianza de la muestra. alternativa a la matriz de covarianza de la muestra. Tiene un riesgo menor y está mejor condicionada. Esto es especialmente cierto cuando la dimensión de la matriz de covarianza es grande en comparación con el tamaño de la muestra

Así, la estimación que proporcionan se compara con la estimación de la covarianza de la muestra. No con la verdadera matriz de covarianza subyacente.

EDIT2: La forma en que los autores describen esto como mejor, (en la página 3 del manuscrito), se refiere al número de condición de la matriz. Eso significa que su estimación es más estable numéricamente. Esto suele ocurrir cuando se realiza cualquier tipo de regularización, ya que se reduce el número efectivo de parámetros que se están estimando.