¿Debo tener "confianza" en los intervalos de credibilidad?

Question

Preliminares

En primer lugar, sé que el debate Bayesiano/Frecuentista es bastante largo en este momento, pero espero que mi pregunta sea lo suficientemente diferente de las otras que revisé en este sitio antes de hacer esta pregunta.

Para que otros no empiecen a remitirme los numerosos enlaces de este sitio para "¿Qué es la probabilidad bayesiana?" o "Intervalos de confianza frente a intervalos de credibilidad", permítanme decir que soy sin preocuparse por las diferencias entre las probabilidades bayesianas y las frecuenciales, como yo lo entiendo. Lo que quiero saber es por qué debería confiar en los intervalos de credibilidad bayesianos como una descripción fiable del rango plausible de valores de los parámetros.

Mi pregunta principal, luego algunos antecedentes:

¿En qué nos basamos para juzgar la fiabilidad (o confiabilidad) de los intervalos de credibilidad bayesianos?

Lo pregunto porque hay un enigma con los Intervalos de Credibilidad que no veo con los Intervalos de Confianza: ¿cómo determino el "riesgo" de estar equivocado?

Un ejemplo de intervalos de confianza

Un intervalo de confianza del 95% es construido sea correcta (es decir, que cubra el parámetro verdadero) en el 95% de las muestras a las que se aplica: el 95% es una probabilidad que se aplica al procedimiento a lo largo de muchas muestras. Sin embargo, al igual que una realización de una variable aleatoria no tiene por qué acercarse a su valor medio, cualquier IC individual no tiene por qué, en principio, situarse entre los corchetes de nada que se acerque al valor verdadero.

Pero... cuando realizamos una inferencia, formamos un IC en un intento de mostrar el rango plausible de valores de los parámetros, dados los datos que hemos recogido. En una interpretación frecuencial, yo no puede asignar ninguna probabilidad a un intervalo real, ya que no hay más aleatoriedad a la que aplicar una probabilidad.

Entonces, ¿por qué me importa esto específico ¿Qué me dice esto sobre los valores de los parámetros que se infieren? He visto dos reacciones principales a esta pregunta:

1. "¡Nada!" cubre o no el verdadero parámetro, pero eso es todo.
2. "Hay un 95% de posibilidades de que el valor verdadero se encuentre en este intervalo".... normalmente seguido de respuestas como que "los IC individuales no pueden tener una probabilidad"

Sin embargo, hay una tercera posibilidad que creo que la mayoría de los que confiamos en los intervalos de confianza utilizamos realmente al interpretar un IC individual:

"No sé si este intervalo de confianza del 95% en particular contiene el valor verdadero, pero el procedimiento produce intervalos que no dan en el blanco sólo el 5% de las veces, por lo que asume que este intervalo pone entre paréntesis el valor verdadero. Dada esta suposición, sigo sin saber que valor en el intervalo es el valor verdadero, así que interpretaré el intervalo como los valores "probables" del valor verdadero".

Esta interpretación (ciertamente larga... [no muy diferente a este post ;-)]) tiene una serie de buenas características:

• Separa claramente la afirmación de la probabilidad de la evaluación "subjetiva" o "de probabilidad". Por tanto, sé que mi interpretación será errónea en el 5% de las muestras (para un IC del 95%)... pero ...estará bien en el otro 95% (Como Richard Royall escribió memorablemente "A veces la evidencia es engañosa"... ¡seguir los datos a donde nos llevan tiene sus propios riesgos!)
• Hay una base clara para evaluar/validar mi confianza... basta con tomar un gran número de muestras de una distribución conocida y probar si funciona como se anuncia.

Una advertencia...

• Algunos intervalos de confianza tienen una propiedad llamada "ancilaridad"... que significa que la confianza global en el procedimiento es realmente una marginal probabilidad, donde estamos marginando sobre la condicional confianza en el procedimiento dado el valor del estadístico auxiliar (por tanto, el estadístico auxiliar identifica "subconjuntos relevantes" de la población de posibles intervalos de confianza, cada uno de los cuales puede tener una confianza muy diferente en comparación con la confianza media general (es decir, incondicional) del procedimiento). Existen métodos para corregir un intervalo dado un estadístico auxiliar para que alcance la confianza deseada (busque "inferencia condicional" y los trabajos de Nancy Reid, Richard Cox y otros)

Ahora, sobre los intervalos de credibilidad bayesiana

Las estimaciones bayesianas (probabilidades, intervalos) no tienen que tener ninguna propiedad de muestreo repetido. Esto es a la vez una bendición y una maldición. Una bendición porque podemos afirmar que la "probabilidad" asignada al intervalo es en realidad una probabilidad para que intervalo. Una maldición en el sentido de que no tenemos forma de calibrar nuestro sentido del riesgo inferencial: una probabilidad bayesiana de "0,95" no se aplica a nada tangible o verificable. Sin embargo, muchos estadísticos confían en estos intervalos. Entonces, ¿qué me estoy perdiendo? Este es mi dilema:

1. Si insistimos en que el "95%" de probabilidad no se aplica a una secuencia teórica de ensayos repetidos (o cualquier sentido de repetición), entonces el "95%" es sólo un número calculado utilizando un sistema formalmente consistente con los axiomas de la Teoría de la Probabilidad.
2. Si apelamos a la trayectoria de las técnicas que utilizan la Probabilidad Bayesiana, ¿no estamos apelando al criterio frecuentista?

Ahora, no tengo ningún problema con el Bayesiano fórmula para calcular las estimaciones... Los veo como intentos sensatos de "regularizar" o "estabilizar" las estimaciones de muestras pequeñas. Sin embargo, todavía no he visto una alternativa viable al concepto de confianza al evaluar los procedimientos inferenciales. Para mí tiene mucho sentido que confiemos en un método que casi siempre es correcto.

Tenga en cuenta que si asumimos que el LLN se mantiene y hay un valor verdadero del parámetro por ahí, entonces nuestro Intervalo de Credibilidad Bayesiano está sujeto a la misma tautología que un Intervalo de Confianza... o contienen el valor verdadero o no. No hay forma lógica de evitarlo. Lo que parece cambiar es el "riesgo" que atribuimos al intervalo.

Yo, por mi parte, confío en los intervalos de confianza de la misma manera que confiaría en un asesor experto. La mayoría de las veces son correctos, pero de vez en cuando se equivocan. A falta de información "auxiliar" (como su exactitud en función del tipo de pregunta), asumo que sus respuestas son correctas y acepto el (pequeño) riesgo de equivocarme. Esa es la naturaleza del azar.

No sé cómo tendría la misma confianza en un asesor que defiende una probabilidad bayesiana del 95% de tener razón...

Answer 1

Si has caracterizado con precisión tus creencias sobre una cantidad concreta en la distribución a priori, entonces SÍ deberías tener "confianza" en tus creencias actualizadas, representadas por la distribución posterior (y, por tanto, los intervalos creíbles construidos a partir de ella), porque la regla de Bayes proporciona la forma adecuada de actualizar tus creencias al ver los datos.

La afirmación anterior se refiere a un experimento concreto, pero sobre todo a una cantidad concreta de interés. No dice nada sobre lo que ocurre con todo un conjunto de experimentos o cantidades, ni debería decirlo, ya que esta cantidad concreta es la cantidad de interés. Tampoco dice nada sobre dónde está el verdadero valor del parámetro, sino que dice algo sobre dónde crees que está el verdadero valor del parámetro. Por lo tanto, dice exactamente lo que deberías creer basándote en tu elección de la prioridad, tu elección de la probabilidad y los datos que has observado.

Para la cobertura de los intervalos de confianza o de credibilidad, necesitamos construir un procedimiento estadístico repetible. El procedimiento anterior no es repetible porque la construcción de la prioridad es específica para la cantidad particular de interés. Sin embargo, podemos construir procedimientos bayesianos por defecto cuyas priores se construyen para satisfacer ciertas propiedades. Una de esas propiedades es coincidencia de probabilidades y los intervalos creíbles construidos bsaed en priores de coincidencia de probabilidad alcanzan la cobertura frecuentista apropiada sobre el uso repetido de este prior.

Por lo tanto, si la cobertura le da "confianza", entonces probablemente sólo debería utilizar un procedimiento bayesiano por defecto con un previo de coincidencia de probabilidad.

Answer 2

De tu afirmación, "¿cómo puedo creer en algo al 95% (o crees que algo es cierto o no lo crees)?", se desprende que tienes una gran confianza en lo que la estadística puede decirnos. Intrínsecamente, yo (partidario de los métodos bayesianos) me pregunto cuánto creer en algo, y con nueva información, soy capaz de ajustar mi creencia (ajustar lo que creo). Para mí, la creencia representa simplemente lo seguro que estoy de la presencia de un efecto en combinación con la totalidad de las pruebas anteriores, sin tener en cuenta la "verdad".

Por ejemplo, tengo un tamaño del efecto, d, de 0,2 y un IC que va de 0,004-0,510. ¿Cómo se puede utilizar esto para derivar una verdad binaria? ¿Cuál es su verdad aquí? ¿Su sentido de la verdad se basa en un remuestreo hipotético, en el que un parámetro fijo pero desconocido es capturado por intervalos hipotéticos que se construyen hipotéticamente a partir del mencionado remuestreo que no ha ocurrido realmente? Para que esa sea la forma en que se nos otorga la verdad, tendrías que creer que es así. Creo que eso es improbable.

Basándome sólo en este tamaño del efecto y en el intervalo, deduzco que, aunque el intervalo no abarque el cero, es probable que haya valores muy cercanos al cero. A continuación, elegiría un valor basado en pruebas anteriores para evaluar la probabilidad posterior de un efecto que pueda considerarse importante (significación práctica). En este caso, elegiría 0,2 (común en psicología), lo que potencialmente daría lugar a una probabilidad posterior de que el efecto fuera inferior a 0,2 como 50 %, mientras que también habría un 50 % de probabilidad posterior de que el efecto fuera superior a 0,2. Basándome en esta información, estaría muy inseguro de la importancia del efecto, pero también consideraría la presencia de un efecto como probable y digno de consideración. Para mí, ésta es la inferencia adecuada basada en el tamaño del efecto y el intervalo, y sólo puede obtenerse utilizando métodos bayesianos.

Por mucho que nos gustaría que un lenguaje de programación estadístico nos diera todas las respuestas, no puede hacerlo. En realidad, tenemos que pensar y, a partir de lo que pensamos, formamos creencias. Por ello, sugiero que se consideren seriamente los límites de la inferencia estadística y que no se tenga reparo en estar algo seguro/inseguro de cuál es la verdad.