Es KNN un algoritmo de aprendizaje discriminativo?

Question

Parece que KNN es un algoritmo de aprendizaje discriminativo pero me parece que no puede encontrar cualquiera de los recursos en línea para confirmar esto.

Es KNN un algoritmo de aprendizaje discriminativo?

Answer 1

KNN es un discriminativo algoritmo, ya que los modelos de la probabilidad condicional de una muestra de pertenecer a una determinada clase. Para ver esto consideremos cómo se llega a la regla de decisión de kNNs.

Una clase de etiqueta corresponde a un conjunto de puntos que pertenecen a una región en el espacio de características $R$. Si usted dibuja los puntos de muestreo de la real distribución de probabilidad, $p(x)$, de forma independiente, la probabilidad de sacar una muestra de que clase es, $$P = \int_{R} p(x) dx$$

Lo que si ha $N$ puntos? La probabilidad de que $K$ puntos de los $N$ puntos de otoño en la región de $R$ sigue la distribución binomial, $$Prob(K) = {{N} \, seleccione {K}}P^{K}(1-P)^{N-K}$$

Como $N \to \infty$ esta distribución es marcadamente alcanzó su punto máximo, por lo que la probabilidad puede ser aproximada por su valor medio $\frac{K}{N}$. Un adicional de aproximación es que la distribución de probabilidad sobre $R$ permanece aproximadamente constante, de modo que uno puede aproximar la integral, $$P = \int_{R} p(x) dx \aprox p(x)V$$ donde $V$ es el volumen total de la región. En virtud de este aproximaciones $p(x) \approx \frac{K}{NV}$.

Ahora, si hemos tenido varias clases, se podría repetir el mismo análisis para cada una, lo que nos daría, $$p(x|C_{k}) = \frac{K_{k}}{N_{k}V}$$ donde $K_{k}$ es la cantidad de puntos de la clase $k$, que cae dentro de la región y de $N_{k}$ es el número total de puntos que caen en esa región. Aviso de $\sum_{k}N_{k}=N$.

Repetir el análisis con la distribución binomial, es fácil ver que se puede estimar el antes de $P(C_{k}) = \frac{N_{k}}{N}$.

Usando la regla de Bayes, $$P(C_{k}|x) = \frac{p(x|C_{k})p(C_{k})}{p(x)} = \frac{K_{k}}{K}$$ cual es la regla para kNNs.

Answer 2

Estoy de acuerdo en que kNN es discriminativo. La razón es que no se menciona explícitamente la tienda o intenta aprender (probabilístico) modelo que explica los datos (a diferencia de, por ejemplo, Naive Bayes).

La respuesta por juampa me confunde, ya que, a mi entender, un generativo clasificador es uno que intenta explicar cómo se generan los datos (por ejemplo, el uso de un modelo), y que la respuesta dice que es discriminatorio porque de ello...