Supongamos que entrenamos un clasificador $f$ sobre muestras de una distribución desconocida $\mathbb{P}$ mediante la minimización empírica del riesgo o alguna otra técnica. ¿Qué se sabe sobre la distribución de las muestras mal clasificadas? Es de suponer que no $\mathbb{P}$ .
Respuesta
¿Demasiados anuncios?
fre_ber
Puntos
31
En primer lugar, clasificaré el entorno del que creo que habla. Espero estar en lo cierto. Tenemos un clasificador $f$ que clasifica según alguna función de clasificación verdadera $F$ . Por lo tanto, $f$ se construye de forma que $F \approx f$ en términos de riesgo empírico. Ahora muestreamos $x \sim \mathbb{P}$ y clasificas $x$ Por lo tanto $F(x) \neq f(x)$ .
Pregunta: ¿Cuál es la distribución condicional de $x$ dado que $F(x) \neq f(x)$ ? En concreto, ¿qué es $\mathbb{P}(x \in \cdot | F(x) \neq f(x))$
Es una cuestión que podemos tratar de abordar con la estadística bayesiana. En ese caso, necesitamos saber $\mathbb{P}$ que es la medida previa en este caso. Espero que no sea una suposición demasiado fuerte. $\mathbb{P}$ tiene función de densidad de probabilidad $\pi_0$ . Propongo el siguiente enfoque:
¿Cuál es la probabilidad adecuada en este contexto? Podemos utilizar la medida del error $\mathrm{Error}(F,f,x)$ para construirlo. La probabilidad de $F = f$ dado un determinado $x$ es entonces $$\exp\left(-\mathrm{Error}(F,f,x)\right)$$ Pero necesitamos la probabilidad de $F \neq f$ en un determinado $x$ . Podemos modelarlo de la siguiente manera Sea $M \in \mathbb{R}$ que es el máximo de $\mathrm{Error}(\cdot,\cdot,\cdot)$ . Entonces consideramos $$\exp\left(-M+\mathrm{Error}(F,f,x)\right)$$ como la probabilidad buscada.
La fórmula de Bayes nos dice que la función de densidad de probabilidad $\pi_p$ de la medida posterior $\mathbb{P}(x \in \cdot | F(x) \neq f(x))$ viene dado por: \begin{align} \pi_p(x) = C \cdot f(x) \exp\left(-M+\mathrm{Error}(F,f,x)\right) \propto \pi_0(x) \exp\left(\mathrm{Error}(F,f,x)\right), \end{align} desde $C, M$ son independientes de $x$ .
Ahora puede utilizar algún método de Monte Carlo con cadena de Markov para aproximar $\mathbb{P}(x \in \cdot | F(x) \neq f(x))$ . En caso de que lo haga, me interesaría mucho conocer los resultados. Por favor, hágamelo saber. :)
