¿Son útiles los intervalos de confianza?

Question

En las estadísticas de los frecuentadores, un intervalo de confianza del 95% es un procedimiento que produce intervalos y que, si se repite un número infinito de veces, contendría el verdadero parámetro el 95% de las veces. ¿Por qué es esto útil?

Los intervalos de confianza son a menudo mal entendidos. Son no un intervalo en el que podemos estar 95% seguros de que el parámetro está en (a menos que esté usando el intervalo de credibilidad bayesiana similar). Los intervalos de confianza me parecen un cebo y un interruptor.

El único caso de uso que se me ocurre es proporcionar el rango de valores para el que no podríamos rechazar la hipótesis nula de que el parámetro es ese valor. ¿Los valores p no proporcionarían esta información, sino mejor? ¿Sin ser tan engañoso?

En resumen: ¿Por qué necesitamos intervalos de confianza? ¿Cómo son, cuando se interpretan correctamente, útiles?

Answer 1

Siempre y cuando el intervalo de confianza se trate como al azar (es decir, visto desde la perspectiva de tratar los datos como un conjunto de variables aleatorias que aún no hemos visto), entonces sí que podemos hacer declaraciones de probabilidad útiles al respecto. Específicamente, supongamos que se tiene un intervalo de confianza en el nivel $1- \alpha $ para el parámetro $ \theta $ y el intervalo tiene límites $L( \mathbf {x}) \leqslant U( \mathbf {x})$ . Entonces podemos decir eso:

$$ \mathbb {P}(L( \mathbf {X}) \leqslant \theta \leqslant U( \mathbf {X}) | \theta ) = 1- \alpha \quad \quad \quad \text {for all } \theta \in \Theta. $$

Saliendo del paradigma del frecuentador y marginando sobre $ \theta $ para cualquier distribución anterior da el correspondiente resultado de probabilidad marginal:

$$ \mathbb {P}(L( \mathbf {X}) \leqslant \theta \leqslant U( \mathbf {X})) = 1- \alpha. $$

Una vez que fijemos los límites del intervalo de confianza fijando los datos a $ \mathbf {X} = \mathbb {x}$ ya no apelamos a esta declaración de probabilidad, porque ahora hemos fijado los datos. Sin embargo, si el intervalo de confianza se trata como un intervalo aleatorio entonces podemos hacer esta declaración de probabilidad, es decir, con probabilidad $1- \alpha $ el parámetro $ \theta $ caerá dentro del intervalo (aleatorio).

Dentro de las estadísticas de los frecuentadores, las declaraciones de probabilidad son declaraciones sobre frecuencias relativas en ensayos infinitamente repetidos. Pero eso es cierto para cada declaración de probabilidad en el paradigma del frecuentador, así que si su objeción es a las declaraciones de frecuencia relativa, no es una objeción específica a los intervalos de confianza. Si nos movemos fuera del paradigma del frecuentista, entonces podemos decir legítimamente que un intervalo de confianza contiene su parámetro objetivo con la probabilidad deseada, siempre que hagamos esta declaración de probabilidad marginalmente (es decir, no condicionada a los datos) y tratemos así el intervalo de confianza en su sentido aleatorio.

No sé de otros, pero me parece un resultado de probabilidad bastante poderoso, y una justificación razonable para esta forma de intervalo. Yo mismo soy más parcial a los métodos bayesianos, pero los resultados de probabilidad que respaldan los intervalos de confianza (en su sentido aleatorio) son resultados poderosos que no deben ser olfateados.

Answer 2

Estoy de acuerdo con @Ben arriba, y pensé en dar un ejemplo simple de donde un intervalo Bayesiano versus un Frecuentista sería de valor en la misma circunstancia.

Imagina una fábrica con líneas de montaje paralelas. Es costoso detener una línea, y al mismo tiempo, quieren producir productos de calidad. Les preocupan tanto los falsos positivos como los falsos negativos a lo largo del tiempo. Para la fábrica, es un proceso de promediación: tanto la potencia como la protección garantizada contra los falsos positivos importan. Los intervalos de confianza, así como los intervalos de tolerancia, son importantes para la fábrica. Sin embargo, las máquinas se desalinean, es decir $ \theta\ne\Theta $ y el equipo de detección observará los eventos espurios. El resultado promedio importa mientras que el resultado específico es un detalle operacional.

En el lado opuesto de esto está un solo cliente que compra un solo producto o un solo lote de productos. No les importan las propiedades de repetición de la línea de montaje. Les importa el único producto que han comprado. Imaginemos que el cliente es la NASA y necesitan que el producto cumpla con una especificación, digamos $ \gamma\le\Gamma. $ No se preocupan por la calidad de las piezas que no compraron. Necesitan un intervalo bayesiano de alguna forma. Además, un solo fallo podría matar a muchos astronautas y costar miles de millones de dólares. Necesitan saber que cada pieza comprada cumple con las especificaciones. El promedio sería mortal. Para un cohete Saturno V, una tasa de defectos del uno por ciento habría implicado 10.000 piezas defectuosas durante los vuelos del Apolo. Requerían 0% de defectos en todas las misiones.

Te preocupa tener un intervalo de confianza cuando trabajas en el espacio de la muestra como lo hace una fábrica. Está creando el espacio de muestra. Te preocupas por tener intervalos de confianza cuando trabajas en el espacio de los parámetros, como lo haría un cliente. Si no te preocupas por las observaciones fuera de la tuya, entonces eres Bayesiano. Si te preocupas por las muestras que no fueron vistas, pero que podrían haber sido vistas, entonces eres un Frequentista.

¿Le preocupa el promedio a largo plazo o el evento específico?

Answer 3

Tenga en cuenta que por el estricta definición de intervalo de confianza, it es es posible que no tengan ningún sentido, es decir, que no sean informativos sobre el parámetro de interés. Sin embargo, en la práctica, son generalmente muy significativos.

Como ejemplo de un intervalo de confianza sin sentido, supongamos que tengo un procedimiento que el 95% de las veces produce $[0,1]$ y el 5% de las veces produce [ $U_{min}$ , $U_{max}$ ], donde $U_{min}, U_{max}$ son cualquier par de variables aleatorias tales que $U_{min} < U_{max}$ . Entonces este es un procedimiento que captura cualquier probabilidad al menos el 95% de las veces, por lo que técnicamente es un intervalo de confianza válido para cualquier probabilidad. Sin embargo, si dijera que el intervalo producido por este procedimiento es $[0.01, 0.011]$ para un determinado $p$ deberías darte cuenta de que realmente no has aprendido nada sobre $p$ .

Por otro lado, la mayoría de los intervalos de confianza están construidos de una manera más útil. Por ejemplo, si le dijera que fue creado usando un procedimiento de Intervalo Wald, entonces sabemos que

$ \hat p \text { } \dot\sim \text { } N(p, s_e)$

donde $s_e$ es el error estándar. Esta es una declaración muy significativa sobre cómo $ \hat p$ se relaciona con $p$ . Convertir esto en un intervalo de confianza es simplemente un intento de simplificar este resultado a alguien que no está tan familiarizado con las distribuciones normales. Esto tampoco es sólo para decir que es sólo una herramienta para personas que no conocen las distribuciones normales; por ejemplo, el percentil bootstrap es una herramienta para resumir el error entre el estimador y el parámetro verdadero cuando la distribución de este error puede ser no gaussiana.

Answer 4

Los intervalos de confianza no sólo son útiles, sino que son esenciales en algún campo, como la física. Lamentablemente, el mayor ruido en relación con los IC proviene de los bayesianos atrapados en falsos debates con los frecuentadores, por lo general en el contexto de las "ciencias" sociales y otras disciplinas de tipo científico.

Supongamos que mido una cantidad en Física, como la carga eléctrica. Siempre la suministraría con la medida de la incertidumbre del valor, que suele ser una desviación estándar. Dado que en Física los errores son a menudo gausianos, esto se traduce directamente en CI. Sin embargo, cuando los errores no son gausianos, se complica un poco, hay que evaluar algunas integrales, etc. Nada demasiado esotérico, aunque normalmente.

Aquí está una breve presentación sobre la IC en la física de partículas, y la definición:

declaración cuantitativa sobre la fracción de veces que tal intervalo contendría el verdadero valor del parámetro en un gran número de experimentos repetidos

Nótese que en Física "experimentos repetidos" tiene a menudo un significado literal: se asume usted puede en realidad repetir los experimentos en el papel, y podría realmente observar esa fracción. Por lo tanto, la IC tiene un significado casi literal para ti, y es sólo una forma de expresar la información sobre la incertidumbre de la medición. No es un experimento de pensamiento, ni una opinión subjetiva, ni tus o mis sentimientos sobre las probabilidades, etc. Es lo que usted fue capaz de concebir a partir de los experimentos, y lo que yo debería ser capaz de observar al reproducir su experimento.

Answer 5

Este hilo se ha convertido rápidamente en el debate Frequentista vs Bayesiano, y eso no es fácil de resolver. Las matemáticas en ambos enfoques son sólidas, por lo que siempre se reduce a las preferencias filosóficas. La interpretación frecuentista de la probabilidad como límite de la frecuencia relativa de un evento se justifica por la fuerte ley de los grandes números; independientemente de su interpretación preferida de la probabilidad, la frecuencia relativa de un evento convergerá a su probabilidad con la probabilidad 1.

Los intervalos de confianza de los frecuentadores son más difíciles de interpretar que los intervalos creíbles bayesianos. Tratando una cantidad desconocida como una variable aleatoria, los bayesianos pueden afirmar que un intervalo contiene esa cantidad con cierta probabilidad. Los frecuentadores se niegan a tratar algunas cantidades como variables aleatorias, y cualquier ecuación que contenga sólo constantes sólo puede ser verdadera o falsa. Así pues, al estimar una constante desconocida, los frecuentadores deben vincularlas con un intervalo ALEATORIO para implicar probabilidad alguna. En lugar de un intervalo que contiene una variable aleatoria con alguna probabilidad, el método del frecuentista genera muchos intervalos posibles diferentes, algunos de los cuales contienen la constante desconocida. Si la probabilidad de cobertura es razonablemente alta, es un salto de fe razonable afirmar que un intervalo particular contiene la constante desconocida (nota, no "con alguna probabilidad").

Un bayesiano se opondría a tal salto de fe tanto como un frecuentador se opone a tratar cualquier cantidad desconocida como una variable aleatoria. El método de construcción del frecuentista Neyman, de hecho, expuso un problema embarazoso con tales saltos de fe. Sin prevenirlo activamente (véase Feldman y Cousins, 1997 para un enfoque), los resultados raros pueden generar intervalos de confianza VACIOS para un parámetro de distribución. Tal salto de fe sería muy poco razonable! He visto a algunos bayesianos usar ese ejemplo para burlarse de los métodos de los frecuentadores, mientras que los frecuentadores suelen responder con "bueno, yo sigo obteniendo un intervalo correcto la mayoría de las veces, y sin hacer falsas suposiciones". Señalaré que el punto muerto Bayesiano/frecuentista no es importante para la mayoría de los que aplican sus métodos. Incluso las personas comprometidas con la probabilidad de cobertura utilizarán a menudo los métodos bayesianos si se demuestra que los métodos tienen una buena probabilidad de cobertura en las simulaciones.