Derivación cuando la probabilidad a priori es desconocida

Question

Quiero derivar una expresión para el riesgo de clasificación bayesiano $L(r^*)$ cuando el priori $\tau_1\in[0,1]$ es desconocido.

Para este problema, dejemos:

$X\in\mathbb{X}=[0,1],Y\in\{ 0,1 \}$

$\pi_y=P(Y=y)=1/2$ para $y\in{0,1}$

Además, las distribuciones condicionales se caracterizan por:

$[X|Y=y]$ se caracterizan por $f(x|Y=0)=2-2x$ et $f(x|Y=1)=2x$ .

En un caso de clasificación binaria, $L(r^*)=E(min\{\tau_1(X),1-\tau_1(X)\}=1/2-1/2E(|2\tau_1(X)-1|)$ así que supongo que tengo que reemplazar el $\tau_1$ de alguna manera, pero no sé exactamente en qué más se basaría el riesgo de clasificación.

Answer 1

En primer lugar, definamos qué son a priori y a posteriori: Supongamos que una variable $x$ "pertenece" a una distribución $F$ con el parámetro $y$ . Por ejemplo, $x$ podría ser el resultado del lanzamiento de una moneda, con probabilidad $y$ para obtener "cabeza". Dado un valor específico de $y$ , digamos $y=\theta$ tenemos suficiente información para construir la PDF, CDF y todo lo relacionado con $x$ :

$$P(x=1|y=\theta)=\theta,\qquad P(x=0|y=\theta)=1-\theta$$

Obsérvese que estas probabilidades son condicionado al valor de $y$ .

Pero ¿y si la probabilidad $y$ es a su vez una variable? En general, ésa es la idea básica de los métodos bayesianos. Siguiendo con el ejemplo del lanzamiento de la moneda, antes de lanzarla suponemos la probabilidad de que el parámetro $y$ "viene de". Es decir, asumimos su probabilidad de tener ciertos valores anterior para llevar a cabo nuestro experimento. Por eso se llama distribución a priori.

A continuación, llevamos a cabo nuestro experimento y recogemos los resultados. Queremos obtener una estimación de la distribución de $y$ dados los resultados de $x$ que hemos obtenido. Esto sólo podría hacerse después de realizar nuestro experimento. Por eso se llama posterior. Es la probabilidad de $y=\theta$ dados nuestros resultados de $x$ por lo que se denota $P(y=\theta|x)$ .

Ahora, veamos el teorema de Bayes, que conecta $P(X|Y)$ con $P(Y|X)$ :

---

Volviendo a su pregunta: se nos proporciona $P(Y), P(X|Y)$ por lo que podemos hallar la distribución marginal para el denominador y luego la posterior (véase mi solución anterior ), que es $\tau_1(X)=P(Y=1|X)=X$ .

La función de pérdida es $L(r^*)=E\left[\min\{\tau_1(X),1-\tau_1(X)\}\right]$ pero no sabemos nada sobre cómo $E[\tau_1(X)]=E[X]$ parece. Sorprendentemente, no importa en absoluto.

En el caso de $\tau_1(X)<1-\tau_1(X)$ tomamos $L(r^*)=E\left[\tau_1(X)\right]$ pero hay más: $\tau_1(X)<1-\tau_1(X)$ así que $2\tau_1(X)<1$ lo que significa $|2\tau_1(X)-1|=1-2\tau_1(X)$ entonces: $$0.5-0.5E[|2\tau_1(X)-1|]=0.5-0.5E[1-2\tau_1(X)]=0.5-0.5+E[\tau_1(X)]=E[\tau_1(X)]$$

...que es exactamente $E\left[\min\{\tau_1(X),1-\tau_1(X)\}\right]$ . Es fácil demostrar que el caso complementario también se cumple.