Estoy tratando de encontrar una solución al límite de decisión en QDA. La pregunta ya fue formulada y respondida por LDA y la solución proporcionada por amoeba para calcularla utilizando la "forma gaussiana estándar" funcionó bien. Sin embargo, estoy aplicando la misma técnica para un QDA de 2 clases y 2 características y estoy teniendo problemas. ¿Podría alguien comprobar mi trabajo y decirme si este enfoque es correcto?
Empiezo con la ecuación discriminante,
$\delta_l = -\frac{1}{2}\log{|\mathbf{\Sigma_i}|}-\frac{1}{2}{\mathbf{(x-\mu_i)'\Sigma^{-1}_i(x - \mu_i)}}+\log{p_i}$
Donde $\delta_l$ es la puntuación discriminante de alguna observación $\mathbf{x}$ que pertenece a la clase $l$ que puede ser 0 o 1 en este problema de 2 clases.
El límite de decisión entre $l=0$ y $l=1$ es el vector $\boldsymbol{\vec{x}}$ que satisface los criterios $\delta_0$ igual a $\delta_1$ . Lo planteo de la siguiente manera:
$$\delta_0=\delta_1$$
Sustituya la ecuación discriminante de ambos $\delta_0$ y $\delta_1$
$$-\frac{1}{2}\log{|\mathbf{\Sigma_0}|}-\frac{1}{2}{\mathbf{(x-\mu_0)'\Sigma^{-1}_0(x - \mu_0)}}+\log{p_0} = -\frac{1}{2}\log{|\mathbf{\Sigma_1}|}-\frac{1}{2}{\mathbf{(x-\mu_1)'\Sigma^{-1}_1(x - \mu_1)}}+\log{p_1}$$
Manipulaciones algebraicas...
$$\frac{1}{2}{\mathbf{(x-\mu_1)'\Sigma^{-1}_1(x - \mu_1)}}-\frac{1}{2}{\mathbf{(x-\mu_0)'\Sigma^{-1}_0(x - \mu_0)}} = \frac{1}{2}\log{|\mathbf{\Sigma_0}|}-\frac{1}{2}\log{|\mathbf{\Sigma_1}|}+\log{p_1}-\log{p_0}$$
$$\frac{1}{2}({\mathbf{(x-\mu_1)'\Sigma^{-1}_1(x - \mu_1)}}-{\mathbf{(x-\mu_0)'\Sigma^{-1}_0(x - \mu_0)}}) = \frac{1}{2}\log{|\mathbf{\Sigma_0}|}-\frac{1}{2}\log{|\mathbf{\Sigma_1}|}+\log{p_1}-\log{p_0}$$
$${\mathbf{(x-\mu_1)'\Sigma^{-1}_1(x - \mu_1)}}-{\mathbf{(x-\mu_0)'\Sigma^{-1}_0(x - \mu_0)}} = \log{|\mathbf{\Sigma_0}|}-\log{|\mathbf{\Sigma_1}|}+2\log{p_1}-2\log{p_0}$$
El lado derecho de la ecuación anterior es una constante que podemos asignar a la variable $C$ de la siguiente manera:
$C = \log{|\mathbf{\Sigma_0}|}-\log{|\mathbf{\Sigma_1}|}+2\log{p_1}-2\log{p_0}$
en este punto tenemos:
$${\mathbf{(x-\mu_1)'\Sigma^{-1}_1(x - \mu_1)}}-{\mathbf{(x-\mu_0)'\Sigma^{-1}_0(x - \mu_0)}}=C$$
A continuación, intento resolver el valor de y (por ejemplo, la característica 2) dado algún valor de entrada de x (característica 1).
Para simplificar las manipulaciones, he asignado temporalmente las siguientes variables como $$x_0 = x-\mu_{00}$$ $$y_0 = y-\mu_{01}$$ $$x_1 = x-\mu_{10}$$ $$y_1 = y-\mu_{11}$$
$$\begin{bmatrix} x_1 & y_1 \\ \end{bmatrix} \begin{bmatrix} a & b \\ c & d \\ \end{bmatrix} \begin{bmatrix} x_1 \\ y_1 \\ \end{bmatrix} - \begin{bmatrix} x_0 & y_0 \\ \end{bmatrix} \begin{bmatrix} p & q \\ r & s \\ \end{bmatrix} \begin{bmatrix} x_0 \\ y_0 \\ \end{bmatrix} = C$$
$$x_1(ax_1+by_1) + y_1(cx_1+dy_1)-x_0(px_0+qy_0)-y_0(rx_0+sy_0) = C$$
$$ax^2_1+bx_1y_1+cx_1y_1+dy^2_1-px^2_0-qx_0y_0-rx_0y_0-sy^2_0 = C$$
$$bx_1y_1+cx_1y_1+dy^2_1-qx_0y_0-rx_0y_0-sy^2_0 = C-ax^2_1+px^2_0$$
$$dy^2_1-sy^2_0+bx_1y_1+cx_1y_1-qx_0y_0-rx_0y_0 = C-ax^2_1+px^2_0$$
$$dy^2_1-sy^2_0+x_1y_1(b+c)+x_0y_0(-q-r) = C-ax^2_1+px^2_0$$
sustituyendo a $x_0, y_0, x_1, y_1$ ahora tenemos lo siguiente: $$d(y-\mu_{11})^2-s( y-\mu_{01})^2+(x-\mu_{10})(y-\mu_{11})(b+c)+(x-\mu_{00})(y-\mu_{01})(-q-r) = C-a(x-\mu_{10})^2+p(x-\mu_{00})^2$$
entonces calculé los cuadrados y reduje los términos al siguiente resultado: $$(d-s)y^2+(-2d\mu_{11}+2s\mu_{01}+bx-b\mu_{10}+cx-c\mu_{10}-qx+q\mu_{00}-rx+r\mu_{00})y = C-a(x-\mu_{10})^2+p(x-\mu_{00})^2+b\mu_{11}x+c\mu_{11}x-q\mu_{01}x-r\mu_{01}x+d\mu_{11}^2-s\mu_{01}^2-b\mu_{10}\mu_{11}-c\mu_{10}\mu_{11}+q\mu_{01}\mu_{00}+r\mu_{01}\mu_{00}$$
Finalmente, puedo aplicar la fórmula cuadrática para resolver $y$ où
$u = d-s$
$v = -2d\mu_{11}+2s\mu_{01}+bx-b\mu_{10}+cx-c\mu_{10}-qx+q\mu_{00}-rx+r\mu_{00}$
$w = C-a(x-\mu_{10})^2+p(x-\mu_{00})^2+b\mu_{11}x+c\mu_{11}x-q\mu_{01}x-r\mu_{01}x+d\mu_{11}^2-s\mu_{01}^2-b\mu_{10}\mu_{11}-c\mu_{10}\mu_{11}+q\mu_{01}\mu_{00}+r\mu_{01}\mu_{00}$
La fórmula cuadrática con estas variables sería la siguiente: $$y = \frac{-v\pm\sqrt{v^2-4uw}}{2u}$$
Tras intentar comprobar esta solución en un conjunto de datos sencillo, obtengo resultados pobres. No puedo averiguar si es el enfoque de la solución o si hay algo mal en mi código.
Gracias por su tiempo y ayuda.
