¿Cómo se pueden ajustar los árboles de regresión en WinBUGS / OpenBUGS / JAGS?

Question

Hay un paquete de R llamado BayesTree que puede caber árboles de regresión Bayesiana medio ambiente. Sin embargo, de esta manera solo regresión simple es posible. Me gustaría utilizar los árboles de regresión como parte de una más grande modelo jerárquico en lugar de la simple GLM fórmulas (Carros son probados para dar mejores resultados en ciertas aplicaciones, ver, por ejemplo, Hu et al 2011).

Es posible (y cómo) para el ajuste de la regresión de árboles como parte del modelo en WinBUGS/OpenBUGS/ENTRECORTADO? Hay alguno de esos paquetes para estas piezas de software?

Answer 1

Aquí hay una sugerencia de cómo el Bayesiano CARRO modelo de Hu et al (2011) podrían ser implementadas en WinBUGS. Este método requiere que usted para fijar el árbol de la profundidad de antemano. Dado un árbol binario completo, cualquier nodo en profundidad de 1 (es decir, los niños de la raíz) puede ser identificado por medio de un indicador de $b_1$. Cualquier nodo en la profundidad de 2 puede ser identificado por un par de indicadores $(b_1,b_2)$. Y así sucesivamente. Deje $x[i,v]$ $v$th variable predictora en el $i$th instancia. Podemos codificar la ruta a través del árbol por umbralización $x[i,v]$ de acuerdo a los parámetros de los elegidos nodo a cada profundidad. Este código funciona para los árboles de profundidad 3:

for(i in 1:n) {
  b1[i] <- 1 + step(x[i,variable1] - split1)
  b2[i] <- 1 + step(x[i,variable2[b1[i]]] - split2[b1[i]])
  b3[i] <- 1 + step(x[i,variable3[b1[i],b2[i]]] - split3[b1[i],b2[i]])
  y[i] ~ dnorm(mean[b1[i],b2[i],b3[i]], prec[b1[i],b2[i],b3[i]])
}

Sólo se necesita añadir apropiado priores de $variable$ (la división de la variable en cada nodo), $split$ (la división de umbral en cada nodo), y $(mean, prec)$ de las hojas. Hay 8 posibles hojas, pero no deben ser usadas por todos. Por ejemplo, si una de las divisiones está fuera del rango de los datos, a continuación, efectivamente ciruelas pasas lejos de la parte del árbol. Se podría incentivar a los dichos de la poda, con una adecuada antes de divisiones.