11 votos

¿Cuál es la relación de$\mathcal{L}_1$ (variación total) con la distancia a la prueba de hipótesis?

De Kullback-Leibler divergencia (un.k.una. relación de la entropía) tiene una bonita propiedad en la prueba de hipótesis: dado algunos observó medición de $m\in \mathcal{Q}$, y de dos distribuciones de probabilidad $P_0$ $P_1$ definido a lo largo del espacio de medición $\mathcal{Q}$ si $H_0$ es la hipótesis de que la $m$ fue generado a partir de $P_0$ $H_1$ es la hipótesis de que la $m$ fue generado a partir de $P_1$, a continuación, el Tipo I y el Tipo II, los errores están relacionados de la siguiente manera:

$$d(\alpha,\beta)\leq D(P_0\|P_1)$$

donde

$$D(P_0\|P_1)=\sum_{x\in\mathcal{Q}}P_0(x)\log_2\left(\frac{P_0(x)}{P_1(x)}\right)$$

es el de Kullback-Leibler divergencia,

$$d(\alpha,\beta)=\alpha\log_2\frac{\alpha}{1-\beta}+(1-\alpha)\log_2\frac{1-\alpha}{\beta}$$

se llama binario relativa de la entropía, y $\alpha$ $\beta$ son las probabilidades de Tipo I y de Tipo II errores, respectivamente.

Esta relación permite limitar las probabilidades de Tipo I y de Tipo II errores.

Me pregunto si algo similar existe para el Total de la Variación de la distancia:

$$TV(P_0,P_1)=\frac{1}{2}\sum_{x\in\mathcal{Q}}\left| P_0(x)-P_1(x)\right|$$

Soy consciente de que

$$2(TV(P_0,P_1)^2\leq D(P_0\|P_1)$$

¿Hay más?

Por desgracia, yo no soy muy versado en la prueba de hipótesis y estadísticas (sé lo básico y tener un buen fondo en la teoría de la probabilidad). Cualquier ayuda se agradece.

10voto

Mike Wierzbicki Puntos 1151

Aquí hay un poco de un argumento informal sobre un límite inferior que aprendí recientemente durante una conferencia.

Supongamos que tenemos dos medidas de probabilidad$P_0(\cdot )$ y$P_1(\cdot )$, y supongamos que rechazo$P_0$ cuando ocurre el evento$A$. Asi que,

$ \begin{align} \textrm{Type I error} + \textrm{Type II error} &= P_0(A) + P_1(A^C) \\ &= P_0(A) + [1 - P_1(A)]\\ &= 1 + [P_0(A) - P_1(A)]\\ &\geq 1 + \inf_{A}[P_0(A)-P_1(A)]\\ &= 1-\sup_{A}[P_0(A)-P_1(A)]\\ &= 1-TV(P_0 , P_1) \end {align} $

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X