¿Qué me dice una matriz de covarianza no definida positivamente sobre mis datos?

Question

Tengo una serie de observaciones multivariantes y me gustaría evaluar la densidad de probabilidad en todas las variables. Se supone que los datos se distribuyen normalmente. Con un número bajo de variables, todo funciona como cabría esperar, pero al pasar a un número mayor, la matriz de covarianza se vuelve no positiva definida.

He reducido el problema en Matlab a:

load raw_data.mat; % matrix number-of-values x number of variables
Sigma = cov(data);
[R,err] = cholcov(Sigma, 0); % Test for pos-def done in mvnpdf.

Si err>0 entonces Sigma no es positiva definida.

¿Hay algo que pueda hacer para evaluar mis datos experimentales en dimensiones superiores? ¿Me dice algo útil sobre mis datos?

Soy un poco principiante en esta área, así que pido disculpas si me he perdido algo obvio.

Answer 1

La matriz de covarianza no es positiva definida porque es singular. Esto significa que al menos una de sus variables puede expresarse como una combinación lineal de las demás. No necesita todas las variables, ya que el valor de al menos una puede determinarse a partir de un subconjunto de las demás. Yo sugeriría añadir variables secuencialmente y comprobar la matriz de covarianza en cada paso. Si una nueva variable crea una singularidad, elimínela y pase a la siguiente. Al final deberías tener un subconjunto de variables con una matriz de covarianza positiva definida.

Answer 2

Un punto que no creo que se haya tratado más arriba es que ES posible calcular una matriz de covarianza no positiva definida a partir de datos empíricos, incluso si las variables no están perfectamente relacionadas de forma lineal. Si no se dispone de suficientes datos (en particular, si se intenta construir una matriz de covarianza de alta dimensión a partir de un montón de comparaciones por pares) o si los datos no siguen una distribución normal multivariante, se puede acabar con relaciones paradójicas entre las variables, como cov(A,B)>0; cov(A,C)>0; cov(B,C)<0.

En tal caso, no se puede ajustar una PDF normal multivariante, ya que no hay ninguna distribución normal multivariante que cumpla estos criterios - cov(A,B)>0 y cov(A,C)>0 implica necesariamente que cov(B,C)>0.

Todo esto quiere decir que una matriz definida no positiva no siempre significa que se estén incluyendo variables colineales. También podría sugerir que está tratando de modelar una relación que es imposible dada la estructura paramétrica que ha elegido.

Answer 3

Es un resultado válido. La estimación de ese componente de la matriz de covarianza es cero, ¡lo que puede ser perfectamente cierto! Puede llevar a dificultades de cálculo, pero algunos algoritmos en R (no sé sobre Matlab) pueden manejar esto. No entiendo por qué la gente se molesta por esto e insiste en ajustar modelos más parsimoniosos.