Una de las cosas interesantes que encuentro en el mundo de la "incertidumbre del modelo" es esta noción de "modelo verdadero". Esto significa implícitamente que nuestras "proposiciones modelo" son de la forma:
$$M_i^{(1)}:\text{The ith model is the true model}$$
A partir de las cuales calculamos las probabilidades posteriores $P(M_i^{(1)}|DI)$ . Este procedimiento me parece muy dudoso a nivel conceptual. Es una gran exageración (o un cálculo imposible) suponer que el $M_i^{(1)}$ proposiciones son exhaustivas. Para cualquier conjunto de modelos que puedas producir, seguro que hay un modelo alternativo en el que todavía no has pensado. Y así continúa la regresión infinita...
La exhaustividad es crucial aquí, porque garantiza que las probabilidades suman 1, lo que significa que podemos marginar el modelo.
Pero todo esto es a nivel conceptual: el promediado de modelos tiene un buen rendimiento. Esto significa que debe haber un concepto mejor.
Personalmente, veo los modelos como herramientas, como un martillo o un taladro. Los modelos son construcciones mentales que sirven para hacer predicciones o describir cosas que podemos observar. Suena muy impar hablar de un "verdadero martillo", e igualmente estrafalario hablar de una "verdadera construcción mental". Basándome en esto, la noción de "modelo verdadero" me parece extraña. Parece mucho más natural pensar en modelos "buenos" y modelos "malos", en lugar de modelos "correctos" y modelos "erróneos".
Desde este punto de vista, también podríamos tener dudas sobre cuál es el "mejor" modelo a utilizar, entre una selección de modelos. Supongamos que razonamos sobre la propuesta:
$$M_i^{(2)}:\text{Out of all the models that have been specified,}$$ $$\text{the ith model is best model to use}$$
Creo que ésta es una forma mucho mejor de entender la "incertidumbre del modelo". No sabemos qué modelo utilizar, sino qué modelo es el "correcto". Esto también hace que el promedio de modelos parezca algo mejor (para mí, al menos). Y por lo que puedo decir, la posterior para $M_{i}^{(2)}$ utilizar el BIC está perfectamente bien como aproximación fácil. Y además, las proposiciones $M_{i}^{(2)}$ son exhaustivo además de ser exclusivo .
Sin embargo, en este enfoque se necesita algún tipo de medida de la bondad del ajuste para calibrar la calidad del "mejor" modelo. Esto se puede hacer de dos maneras: comparándolo con modelos "seguros", lo que equivale a las estadísticas habituales de bondad de ajuste (divergencia KL, Chi-cuadrado, etc.). Otra forma de medirlo es incluir un modelo extremadamente flexible en su clase de modelos, por ejemplo, un modelo de mezcla normal con cientos de componentes o una mezcla de procesos Dirichlet. Si este modelo resulta ser el mejor, es probable que los demás modelos sean inadecuados.
Este documento contiene una buena discusión teórica y explica, paso a paso, un ejemplo de selección de modelos.
