¿Cómo Bayesians comparar las distribuciones?

Question

Así que, creo que una buena comprensión de los fundamentos de la frecuentista de la probabilidad y el análisis estadístico (y lo mal que puede ser utilizado). En un frecuentista mundo, tiene sentido preguntar algo así como "es que esta distribución diferente de la distribución", debido a que las distribuciones son asumidos para ser real, objetivo e inmutable (para una situación dada, al menos), y así podemos averiguar cómo es la probabilidad de que una muestra es tomada de una distribución en forma de otra muestra.

En el Bayesiano de ver el mundo, nosotros sólo nos preocupamos de lo que nos espera ver, dadas nuestras experiencias pasadas (todavía estoy un poco vago en esta parte, pero entiendo el concepto de actualización Bayesiana). Si eso es así, ¿cómo puede un Bayesiano de decir "este conjunto de datos es diferente del conjunto de datos"?

Para los efectos de esta pregunta, no me importa acerca de la significación estadística, o similar, sólo la forma de cuantificar la diferencia. Estoy interesado igualmente en paramétrica y no paramétrica de las distribuciones.

Answer 1

Pensar en su declaración a través de un Frecuentista y hacerlo más específico de la primera. Un Frecuentista no podía decir que "el conjunto de datos de Una es diferente a partir de los datos de la serie B", sin ninguna otra aclaración.

En primer lugar, usted tendría que indicar qué es lo que entendemos por "diferentes". Tal vez quiere decir "tener diferentes valores de la media". A continuación, de nuevo, que podría significar "tener diferentes variaciones". O tal vez algo más?

Entonces, usted tiene que declarar qué tipo de prueba que se iba a utilizar, que depende de lo que usted cree que son válidos los supuestos sobre los datos. ¿De que se supone que los conjuntos de datos son tanto normalmente distribuida acerca de algunos medios? O ¿crees que ambos se distribuye Beta? O algo más?

Ahora se puede ver que la segunda decisión es muy parecida a la de los priores de la estadística Bayesiana? No es solo "mi experiencia en el pasado", sino que es lo que yo creo, y lo creo a mis compañeros que se creen, son suposiciones razonables acerca de mis datos. (Y Bayesians puede utilizar el uniforme de los priores, que empuja las cosas hacia Frecuentista cálculos.)

EDIT: En respuesta a tu comentario: el siguiente paso es la contenida en la primera decisión que he mencionado. Si desea decidir si los medios de los dos grupos son diferentes, usted podría mirar a la distribución de la diferencia de los medios de los dos grupos para ver si esta distribución hace o no contener cero, en un cierto nivel de confianza. Exactamente cómo cercano a cero, se cuentan como el cero y exactamente en que parte de la (posterior) de la distribución que uso son determinados por usted y el nivel de confianza que usted desea.

Una discusión de estas ideas se pueden encontrar en un papel por Kruschke, quien también escribió un libro muy fácil de leer Haciendo Bayesiano de Análisis de Datos, que abarca un ejemplo en las páginas 307-309, "Son Diferentes de los Grupos de Iguales?". (Segunda edición: p. 468-472.) Él también tiene un blog sobre el tema, con algunos de Q&A.

EDITAR MÁS: Su descripción de la Bayesiano proceso es también no muy correcta. Bayesians sólo se preocupan por lo que los datos nos dice, a la luz de lo que sabíamos independientes de los datos. (Como Kruschke señala, el estado no necesariamente se producen antes de los datos. Eso es lo que la frase implica, pero es realmente sólo nuestro conocimiento de la exclusión de algunos de los datos). Lo que sabíamos de forma independiente de un determinado conjunto de datos pueden ser vagos o específicos, y puede basarse en el consenso, un modelo de la base de datos el proceso de generación, o puede ser simplemente el resultado de otro (no necesariamente antes del experimento.

Answer 2

este papel podría ser de interés: http://arxiv.org/pdf/0906.4032v1.pdf

Se le da un buen resumen de algunos de los frecuentista y Bayesiano enfoques a las dos de la muestra problema, y describe tanto los paramétricos y no paramétricos de los casos.

Podría añadir algo a las otras respuestas para dar un simple ejemplo. Decir que hay dos conjuntos de datos $\mathbf{x}$ $\mathbf{y}$ donde cada una de las $x_i$ y cada una de las $y_j$ es $0$ o $1$. Usted asume un alcoholímetro de Bernoulli modelo en ambos casos, para cada una de las $x_i\sim Bern(p)$ y cada una de las $y_i\sim Bern(q)$. Su hipótesis de escenario de la prueba en tanto el frecuentista y Bayesiana de la configuración puede ser:

$\mathcal{H}_0: \: \: p=q$

$\mathcal{H}_1: \: \: p,q$ no son necesariamente iguales.

Las probabilidades para los datos de cada caso son:

Bajo $\mathcal{H}_0$ : $L_0(p) = f(\mathbf{x},\mathbf{y};p) = \prod_i p^i (1-p)^{1-i} \prod_j p^j(1-p)^{1-j}$

Bajo $\mathcal{H}_1$ : $L_1(p,q) = f(\mathbf{x},\mathbf{y};p,q) = \prod_i p^i (1-p)^{1-i} \prod_j q^j(1-q)^{1-j}$

(ya en $\mathcal{H}_0 \:\: q=p$). Un enfoque frecuentista para el problema podría ser la de hacer una prueba de razón de Verosimilitud, el cual se debe calcular la estadística:

$W = -2\log\left\{ \frac{L_0(p_{max})}{L_1(p_{max},q_{max})}\right\},$

donde $p_{max},q_{max}$ el valor del máximo de estimaciones de probabilidad para$p$$q$, en las correspondientes hipótesis (por lo $p_{max}$ en el numerador no puede ser el mismo que $p_{max}$ en el denominador). $W$ sigue asintóticamente una $\chi^2_1$ distribución (ver, por ejemplo, Pawitan, 2001), por lo que se podría especificar un nivel de significancia y de rechazar no rechazar $\mathcal{H}_0$ según corresponda.

Tradicionalmente, en el enfoque Bayesiano de la estadística de prueba sería el factor de Bayes. En primer lugar asumir una parte relevante de los priores $p\sim \pi_0$ bajo $\mathcal{H}_0$ $p,q\sim \pi_1$ bajo $\mathcal{H}_1$. El factor de Bayes es la relación marginal de las probabilidades, dada por:

$BF = \frac{ f(\mathbf{x},\mathbf{y}|\mathcal{H}_0) }{f(\mathbf{x},\mathbf{y}|\mathcal{H}_1)} = \frac{ \int_0^1 L_0(p)\pi_0(p)dp}{\int_0^1 \int_0^1 L_1(p,q)\pi_1(p,q)dpdq}$.

El factor de Bayes se puede combinar con algunos antes de creencias sobre la probabilidad de $\mathcal{H}_0$ o $\mathcal{H}_1$ siendo verdad, para dar la probabilidad de $\mathcal{H}_0$ frente al $\mathcal{H}_1$ después de ver los datos. Si suponemos que el apriori de que cada una de las hipótesis es igualmente probable, por lo $p(\mathcal{H}_0)=p(\mathcal{H}_1) = 1/2$, entonces esto nos da:

$\frac{p(\mathcal{H}_0|\mathbf{x},\mathbf{y})}{p(\mathcal{H}_1|\mathbf{x},\mathbf{y})} = BF \times \frac{p(\mathcal{H}_0)}{p(\mathcal{H}_1)} = BF \times \frac{1/2}{1/2} = BF.$

Intuitivamente, si esta relación se $>1$, entonces la probabilidad posterior de $\mathcal{H}_0$ es mayor que $\mathcal{H}_1$, por lo que se podría decir que $\mathcal{H}_0$ tiene una mayor probabilidad de ser verdadera en virtud de estas suposiciones para el antes y el modelo.

Una cosa buena acerca de el factor de Bayes es la forma en que automáticamente penaliza los modelos más complejos (como $\mathcal{H}_1$ aquí). Un papel bonito ofreciendo algo más que la intuición es aquí: http://quasar.as.utexas.edu/papers/ockham.pdf.

Espero que ayude, junto con las otras respuestas ya publicadas.

Answer 3

Dado los datos, cómo firmemente creemos que los 2 grupos no provienen de la misma población (H_1: que no proceden de la misma población vs H_0: provienen de la misma población). Esto se puede hacer con un Bayesiano t-test.

La complejidad se utiliza para averiguar cuánto antes se superponen con una hipótesis. El ajuste se utiliza para averiguar cuánto la parte posterior es la superposición con una hipótesis. Combinado puede comparar las hipótesis y expresar su posterior creencia en si o no provienen de la misma población.