Evaluación manual del DIC: ¿número muy elevado de parámetros efectivos?

Question

Mi problema es el siguiente: Estoy evaluando el ajuste a una función $f(\mathbf{x},\theta)$ a través de MCMC (porque tengo algunos priors en los parámetros), y estoy tratando de evaluar el DIC, dado por:

$$\rm{DIC}=\bar{D}+p_D,\ \ \ \ (1)$$

donde, si definimos la desviación $D(\theta)=-2\log(\mathcal{L(\theta|\mathbf{x})})$ y $L(\theta|\mathbf{x})$ es mi probabilidad, entonces $$\bar{D} = E^{\theta}[D] = -2E^{\theta}[\log(\mathcal{L(\theta|\mathbf{x})})],\ \ \ \ (2)$$ donde $E^\theta[\cdot]$ representa el valor esperado sobre la distribución posterior, y el número efectivo de parámetros , $p_D$ viene dada por $$p_D = \bar{D}-D(\hat{\theta})\ \ \ \ (3)$$ donde $\hat{\theta}$ es la expectativa posterior de los parámetros. Esto es lo que he entendido hasta ahora del artículo de Spiegelhalter et al. (2002) .

El caso es que, sólo a efectos de prueba, estoy utilizando una probabilidad gaussiana simple de la forma: $$\mathcal{L}(\theta|\mathbf{x}) = \frac{1}{(2\pi \sigma^2)^{n/2}}\exp\left(-\sum_{i=1}^n\frac{\mathbf{x}_i-\mathbf{f}_i(\theta)}{2\sigma^2}\right),$$ y estoy recibiendo ENORME valores para $p_D$ . En $\sigma$ como parámetro y el hecho de que $\theta$ es de 12 dimensiones en mi aplicación particular, esperaría valores de $p_D$ cercano a 13, ¡pero obtengo valores del orden de 900! Lo que estoy haciendo para evaluar todo es lo siguiente:

1. Después de adelgazar mi cadena MCMC, para cada eslabón, obtengo un valor de la probabilidad. Esto me da una muestra del valor de la verosimilitud en cada eslabón, y luego estimo $E^\theta[D]$ como: $$\hat{D} = \frac{1}{L}\sum_{i=1}^LD(\theta_i),$$ donde $L$ es el número de enlaces y $\theta_i$ es el valor de los parámetros (incluido $\sigma$ ) en ese enlace.
2. Obtengo la media posterior de mis parámetros a partir de todos mis enlaces MCMC (suponiendo que estoy muestreando a partir de la posterior) para obtener $\hat{\theta}$ . Con estimaciones para esto y para $E^\theta[D]$ , sólo tengo que sustituir los valores de las ecs. (2) y (3) para obtener (1).

Con este procedimiento obtengo valores razonables para mi estimación de $E^\theta[D]$ pero $p_D$ simplemente no parece correcto. ¿Hay algo mal en mi procedimiento?

Gracias de antemano por la ayuda.

Answer 1

No hay ningún fallo claro en su aplicación. En primer lugar, tengo mis reservas sobre el uso de DIC, desde usar los datos dos veces, hasta basarse en la intuición de un modelo lineal que funciona mal en modelos más complejos como las mezclas. Así que tu modelo puede ser de ese tipo. Segundo DIC es sensible a la parametrización por lo que usar la media posterior puede no ser la elección correcta. En tercer lugar, si $f$ es altamente no lineal, tal vez la dimensión efectiva sea más como $n$ que como $p$ ...