¿Cómo se ve un núcleo cuadrático?

Question

Basado en visualizado decisión límites, tenemos que decidir qué tipo de clasificador que la ha generado. Un ejemplo se muestra en la imagen de abajo - esto es de una ecuación cuadrática kernel de la Máquina de Soporte Vectorial (SVM), es decir,$K(x,y) = (x^T*y+c)^2$. Yo sé lo que una función cuadrática se ve como en dos dimensiones, pero quiere entender cómo determinar qué tipo de funciones que han llevado a los límites en tres dimensiones - es, fundamentalmente, un "corte" a través de, por ejemplo, una parábola en tres dimensiones, lo que lleva a este elipsoide límite?

Answer 1

Hay (al menos) dos formas de pensar acerca de esto.

Uno es como usted ha mencionado: imaginar los puntos que se levantó en la forma de una función cuadrática, y luego de ser cortado por un plano, produciendo una elipse. Esto es como esta imagen (robado de este documento):

Otra forma de pensar acerca de esto es: la decisión de límite de una SVM siempre será de la forma $\{ y \mid \sum_i \alpha_i k(x_i, y) = 0 \}$. Para el kernel $k(x, y) = (x^T y + c)^2$, tenemos: \begin{align} \sum_i \alpha_i (x_i^T y + c)^2 &= \sum_i \left[ \alpha_i (x_i^T y)^2 + 2 \alpha_i x_i^T y + \alpha_i c^2 \right] \\&= \sum_i \alpha_i y^T x_i x_i^T y + \left( \sum_i 2 \alpha_i x_i \right)^T y + c^2 \sum_i \alpha_i \\&= y^T \left( \sum_i \alpha_i x_i x_i^T \right) y + \left( \sum_i 2 \alpha_i x_i \right)^T y + c^2 \sum_i \alpha_i \\&= y^T Q y + r^T y + s ,\end{align} que es en sí mismo una función cuadrática. Por lo que la decisión de límite siempre va a ser el nivel de conjunto de una función cuadrática en el espacio de entrada.

Answer 2

Supongamos que tenemos dos funciones$(x_1, x_2)$ y lo expandimos en cinco funciones$(x_1^2, x_2^2, x_1, x_2, x_1x_2)$

El límite de decisión es

$$ \ beta_0 + \ beta_1x_1 ^ 2 + \ beta_2x_2 ^ 2 + \ beta_3x_1 + \ beta_4x_2 + \ beta_5x_1x_2 = 0 $$

La intersección con un plano es el límite del elipsoide, que se ve así