Entiendo que la codificación one-hot es linealmente dependiente y si elimino una columna, se volvería linealmente independiente, pero no sé cómo probarlo, ¿alguien puede darme una prueba matemática?
Respuesta
¿Demasiados anuncios?
Dipstick
Puntos
4869
Comienza con la definición:
Una secuencia de vectores $\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_k$ de un espacio vectorial $V$ se dice que es linealmente dependiente, si existen escalares $a_1, a_2, \dots, a_k$, no todos iguales a cero, tales que
$$a_1\mathbf{v}_1 + a_2\mathbf{v}_2 + \cdots + a_k\mathbf{v}_k = \mathbf{0},$$
donde $\mathbf{0}$ denota el vector cero.
Una matriz codificada en one-hot se ve así
$$ \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ \end{bmatrix} $$
ahora agrega una intercepción a la matriz:
$$ \begin{bmatrix} 1 & 1 & 0 & 0 \\ 1 & 0 & 1 & 0 \\ 1 & 0 & 0 & 1 \\ \end{bmatrix} $$
No deberías tener problemas para encontrar vectores no nulos tales que al multiplicar la nueva matriz por ellos obtendrías vectores cero (por ejemplo, $(-\pi, \pi, \pi, \pi)$). Esto muestra que las columnas son linealmente dependientes, por lo tanto multicolineales. Por eso eliminamos una de las columnas por cada característica.
