¿Por qué KNN es un clasificador no lineal?

Question

¿Cómo se decide si un clasificador es lineal o no lineal?

¿Qué propiedad/característica hace que un clasificador sea lineal o no lineal?

Por ejemplo: ¿Por qué SVM es un clasificador lineal? Por qué la regresión logística es un clasificador lineal aunque utilice la función logística, que es una función no lineal?

Answer 1

Un clasificador es lineal si su límite de decisión en el espacio de características es una función lineal: los ejemplos positivos y negativos están separados por un hiperplano .

Esto es lo que hace una SVM por definición sin el uso del truco del kernel.

También la regresión logística utiliza límites de decisión lineales. Imagina que entrenas una regresión logística y obtienes los coeficientes $\beta_i$ . Es posible que desee clasificar un registro de prueba $\mathbf{x} =(x_1,\dots,x_k)$ si $P(\mathbf{x}) > 0.5$ . Donde la probabilidad se obtiene con su regresión logística por: $$P(\mathbf{x}) = \frac{1}{1+e^{-(\beta_0 + \beta_1 x_1 + \dots + \beta_k x_k)}}$$ Si se hacen las cuentas se ve que $P(\mathbf{x}) > 0.5$ define un hiperplano en el espacio de características que separa los ejemplos positivos de los negativos.

Con $k$ NN no tienes un hiperplano en general. Imagine una región densa de puntos positivos. La frontera de decisión para clasificar las instancias de prueba alrededor de esos puntos se parecerá a una curva, no a un hiperplano.