Invertibilidad de la matriz de covarianza cuando el número de ejemplos de entrenamiento es menor que el número de características

Question

Estaba intentando estudiar un algoritmo de detección de valores atípicos y me di cuenta de que en caso de que utilicemos una distribución gaussiana multinomial para modelar los datos, entonces la invertibilidad de la matriz de covarianza ( $\sum$ ) es esencial.

Sin embargo, en caso de que el número de ejemplos de entrenamiento $(m)$ es menor que el número de características $(n)$ por qué $\sum$ ¿se convierten en no invertibles?

Answer 1

La matriz de covarianza se vuelve no invertible cuando $m < n$ debido a una propiedad del subespacio lineal.

Teorema 2: Todo conjunto de extensión S de un espacio vectorial V debe contener al menos tantos elementos como cualquier conjunto de vectores linealmente independientes de V.

Referencia: Wiki

Claramente, para abarcar el espacio de características de orden $\Re^{n}$ necesitamos al menos $n$ ejemplos de formación.