¿Hay alguna forma útil de definir el "mejor" intervalo de confianza?

Question

La definición estándar de (digamos) un intervalo de confianza (IC) del 95% simplemente requiere que la probabilidad de que contenga el verdadero parámetro sea del 95%. Obviamente, esto no es único. El idioma que he visto sugiere que entre los muchos CI válidos, normalmente tiene sentido encontrar algo como el más corto, o simétrico, o conocido con precisión incluso cuando algunos parámetros de distribución son desconocidos, etc. En otras palabras, no parece haber una jerarquía obvia de qué CI son "mejores" que otros.

Sin embargo, pensé que una definición equivalente de CI es que consiste en todos los valores de manera que la hipótesis nula de que el verdadero parámetro es igual a ese valor no sería rechazada en el nivel de significación apropiado después de ver la muestra realizada. Esto sugiere que siempre que elijamos una prueba que nos guste, podemos construir automáticamente el CI. Y hay una preferencia estándar entre las pruebas basadas en el concepto de UMP (o UMP entre las pruebas no sesgadas).

¿Hay algún beneficio en definir el CI como el correspondiente a la prueba de UMP o algo así?

Answer 1

Un poco largo para un comentario. Echa un vistazo a la discusión sobre UMP en este documento "La falacia de confiar en los intervalos de confianza" por Morey et al. En particular, hay algunos ejemplos en los que:

"Aún más extraño, los intervalos f [ ] de la verosimilitud es superior a 5 metros, la anchura del UMP está inversamente relacionada con la incertidumbre de los datos, como el intervalo intervalo no paramétrico. Los procedimientos UMP y de distribución muestral comparten la dudosa distinción de que sus IC no pueden utilizarse para trabajar hacia atrás hasta las observaciones. A pesar de ser el procedimiento procedimiento, el procedimiento UMP desecha claramente información importante. importante".

Answer 2

El rechazo es sólo una parte de la inferencia, no te quedes ahí. Estás tomando una decisión. Digamos que tienes que decidir si ir al mecánico cuando se enciende la luz de "check engine" u olvidarte de ello.

Entonces, tu hipótesis nula es que el motor está bien y la luz es sólo una molestia. La luz del motor del cheque es su prueba. Digamos que el valor p es 5%, mientras que su significación es $\alpha=0.01$ para que no puedas rechazar el nulo y seguir adelante con tu negocio. Así es como funciona la significación estadística en su forma ingenua.

No es así como deben tomarse las decisiones ni como debe tenerse en cuenta la importancia económica. Hay que calcular el coste de seguir con la hipótesis nula frente a rechazarla y seleccionar la hipótesis alternativa.

He omitido por completo la hipótesis alternativa en el ejemplo anterior, porque así es como lo hace todo el mundo: piensan que la hipótesis alternativa es sólo una formalidad, como una reverencia. En la vida real, la alternativa es tan importante como la nula, porque así es como se calcula el coste de no elegir la nula. Sólo cuando tienes en cuenta los costes de nulo y alternativo, deberías tomar la decisión de ir o no a un mecánico. El valor p y los intervalos de confianza por sí solos no tienen ningún significado a este respecto, sólo en conjunción con los costes cobran sentido.