Obtención de datos a priori de los expertos

Question

¿Cómo debo obtener las distribuciones a priori de los expertos al ajustar un modelo bayesiano?

Answer 1

Actualmente estoy investigando el método de la ruleta de prueba para mi tesis de maestría como técnica de elicitación. Se trata de un método gráfico que permite a un experto representar su distribución de probabilidad subjetiva para una cantidad incierta.

A los expertos se les dan fichas (o lo que se puede considerar como fichas de casino) que representan densidades iguales cuyo total sumaría 1 - por ejemplo, 20 fichas de probabilidad = 0,05 cada una. A continuación, se les pide que las coloquen en una cuadrícula preimpresa, con casillas que representen intervalos de resultados. Cada columna representaría su creencia sobre la probabilidad de obtener el resultado de la casilla correspondiente.

Ejemplo: Se pide a un alumno que prediga la nota de un futuro examen. La figura figura siguiente muestra una cuadrícula completa para la elicitación de una distribución de probabilidad subjetiva. El eje horizontal de la horizontal de la cuadrícula muestra los posibles intervalos de notas que el que se le pidió al alumno que considerara. Los números de la fila superior registran el número de fichas por casilla. La cuadrícula completa (con un total de 20 fichas) muestra que el que el alumno cree que hay un 30% de posibilidades de que la nota esté entre 60 y 64,9.

Algunas razones a favor del uso de esta técnica son:

1. Muchas preguntas sobre la forma de la distribución de probabilidad subjetiva del experto pueden responderse sin necesidad de plantear una larga serie de preguntas al experto: el estadístico puede limitarse a leer la densidad por encima o por debajo de cualquier punto, o la comprendida entre dos puntos cualesquiera.

2. Durante el proceso de elicitación, los expertos pueden mover las fichas si no están satisfechos con la forma en que las colocaron inicialmente, y así pueden estar seguros del resultado final que van a presentar.

3. Obliga al experto a ser coherente en el conjunto de probabilidades que se proporcionan. Si se utilizan todas las fichas, las probabilidades deben sumar uno.

4. Los métodos gráficos parecen proporcionar resultados más precisos, especialmente para los participantes con niveles modestos de sofisticación estadística.

Answer 2

John Cook da algunas recomendaciones interesantes. Básicamente, obtenga los percentiles/cuantiles (¡no las medias ni los oscuros parámetros de la escala!) de los expertos, y ajústelos con la distribución adecuada.

http://www.johndcook.com/blog/2010/01/31/parameters-from-percentiles/

Answer 3

La obtención de antecedentes es un asunto complicado.

Métodos estadísticos para la obtención de distribuciones de probabilidad y Obtención de distribuciones de probabilidad son guías prácticas bastante buenas para la elicitación previa. El proceso en ambos documentos se describe de la siguiente manera:

1. antecedentes y preparación;
2. identificar y reclutar al experto o expertos;
3. motivación y formación de los expertos;
4. estructuración y descomposición (normalmente se decide con precisión qué variables deben y cómo obtener distribuciones conjuntas en el caso de las multivariantes);
5. la propia elicitación.

Por supuesto, también revisan cómo la elicitación da lugar a información que puede ajustarse o definir distribuciones (por ejemplo, en el contexto bayesiano, Distribuciones beta ), pero lo más importante es que también abordan los escollos comunes en la modelización del conocimiento experto (anclaje, distribuciones estrechas y de cola pequeña, etc.).

Answer 4

Yo recomendaría dejar que el experto en la materia especifique el media o modo de la anterior pero me sentiría libre de ajustar lo que dan como escala . La mayoría de las personas no son muy buenas para cuantificar la varianza.

Y definitivamente no dejaría que el experto determinara la familia de la distribución, en particular el grosor de la cola. Por ejemplo, supongamos que se necesita una distribución simétrica para una prioridad. Nadie puede especificar su creencia subjetiva tan finamente como para distinguir una distribución normal de, digamos, una distribución Student-t con 5 grados de libertad. Pero en algunos contextos la prioridad t(5) es mucho más robusta que la normal. En resumen, creo que la elección del grosor de la cola es una cuestión estadística técnica, no una cuestión de cuantificar la opinión de los expertos.

Answer 5

Esta interesante cuestión es objeto de algunas investigaciones en ACERA . El investigador principal es Andrew Speirs-Bridge, y su trabajo es eminentemente googleable :)