La mayor debilidad de los priors conjugados es que (en ciertos casos) no pueden alcanzar simultáneamente las dos propiedades siguientes:
- Adecuado
- Vago
Una prioridad conjugada equivale a añadir puntos virtuales al conjunto de datos. Esto es lo que las hace eficientes desde el punto de vista computacional. Pero esto también puede hacer que sea imposible tener una vaga a priori adecuada, porque puede ocurrir que si eliges los puntos virtuales antes de ver los datos, entonces siempre habrá un conjunto de datos lejos de esos puntos, de tal forma que los puntos virtuales influirán indebidamente en la posterior. Esto sucede porque la posterior de una familia exponencial es una función de la estadística suficiente, y la estadística suficiente puede tener un punto de ruptura de 0, lo que significa que sólo se necesita un único valor atípico para ejercer una influencia arbitraria en la estadística.
Para ilustrarlo, supongamos que queremos estimar el parámetro medio $m$ de una distribución normal. Una prioridad conjugada para $m$ debe ser una distribución normal. Es imposible elegir una distribución a priori normal sobre $m$ que es a la vez propio e impreciso. Considere un juego en el que usted tiene que elegir una normal adecuada a priori, y luego tengo que elegir un conjunto de datos. Independientemente de la prioridad que elija, puedo elegir un conjunto de datos (de cualquier tamaño) cuya media empírica esté suficientemente alejada de la media de esa prioridad, de modo que la distribución posterior de $m$ está indebidamente influenciada por ese anterior. Esto ocurre porque el estadístico suficiente de $m$ es la media aritmética, que tiene el punto de ruptura 0. Por otra parte, si se permite utilizar a priori no conjugados, entonces es fácil elegir un a priori sobre $m$ que sea a la vez propia y vaga (por ejemplo, una distribución de Cauchy).
El periódico "Modelización bayesiana de la robustez mediante distribuciones regularmente variables" da los argumentos matemáticos que sustentan estas afirmaciones.
