¿Por qué usamos pruebas de hipótesis en lugar de simplemente permitir que las personas hagan actualizaciones bayesianas?

Question

¿Por qué necesitamos discretizar nuestros juicios utilizando pruebas de hipótesis?

¿Por qué no podemos simplemente pedir a las personas que reporten los datos cada vez que se realiza un estudio, y los valores de p y el tamaño del efecto, y luego informar cómo los datos modificaron sus probabilidades subjetivas?

Es más valioso para las personas tener sus propias probabilidades de que ciertas afirmaciones sean verdaderas, y luego actualizar esa probabilidad cuando encuentran nuevos datos en un estudio.

Hacer que las personas solo hagan esto cuando los datos son "estadísticamente significativos" es algo arbitrario. Los datos que no son estadísticamente significativos pero que aún apuntan en una cierta dirección siguen siendo evidencia que debería actualizar sus creencias; simplemente no es lo suficientemente fuerte como para que pueda considerar razonablemente que la conclusión del estudio sea verdadera (sin esperar estar equivocado muchas veces).

Algunas personas dicen que es perjudicial, porque causa que las personas no publiquen estudios que no son estadísticamente significativos.

Todos tienen sus propias probabilidades asignadas a afirmaciones, y luego, cuando se encuentran con un nuevo conjunto de datos, actualizan sus probabilidades. Tal vez los datos no sean estadísticamente significativos, y no actualicen mucho, pero eso es mejor que nada. Especialmente si esto llevaría a normas más saludables en la ciencia, donde todos los estudios se publican.

Answer 1

No es una idea terrible, pero necesitas tomar en cuenta la necesidad de decisión, el costo en tiempo de análisis y los requisitos de conocimiento para el análisis

La prueba de hipótesis es útil en problemas de decisión binaria donde uno se enfrenta a una decisión que debe tomarse entre dos cursos de acción alternativos, por ejemplo, ¿debería tomar este medicamento o no? Esta es la razón por la que necesitamos discretizar en ciertas circunstancias. De hecho, cada vez que nos enfrentamos a un problema de decisión que involucra un número contable de opciones alternativas, necesitamos discretizar nuestro análisis para tomar una decisión (siendo el problema de decisión binaria un caso especial de esto).

En cuanto a la idea de que podríamos permitir que las personas discretizaran sus propias creencias subjetivas previas y posteriores usando análisis bayesiano, eso es fácil para nosotros, pero difícil para los demás. Incluso para usuarios científicamente alfabetizados que tienen un sólido conocimiento del análisis bayesiano (y por lo tanto podrían realizar el análisis requerido), hay un sustancial costo en tiempo en el proceso de extraer sus propias creencias previas en forma probabilística, aplicar la regla de Bayes para obtener una distribución posterior, y luego discretizar esta distribución sobre el espacio de las hipótesis relevantes. Además, en muchas circunstancias es necesario que los investigadores científicamente alfabetizados puedan comunicar la evidencia para un curso de acción particular a usuarios no científicamente alfabetizados que desean tomar una decisión. Decirle a estos últimos: "Oh, simplemente usa tus probabilidades subjetivas y aplica la regla de Bayes para tomar una decisión" no es especialmente útil para ellos, mientras que ser capaz de resumir la evidencia en un solo número de corte que el investigador ya ha calculado para ti es quizás más útil.$^\dagger$

Aunque creo que has pasado por alto estos elementos del problema, tu posición tendría cierto mérito si se aplicara puramente entre un grupo de usuarios científicamente alfabetizados con un sólido conocimiento del análisis bayesiano, y si este grupo no le importa incurrir en un costo de tiempo para obtener resultados cada vez que leen un estudio. Esto podría ser mitigado en cierto grado si los investigadores que presentan resultados proporcionan herramientas automatizadas útiles para extraer priors y calcular rápidamente las probabilidades posteriores sobre las hipótesis, pero aun así habría un costo de tiempo adicional. Entre un grupo de Bayesiano expertos, una metodología como la que estás presentando probablemente sería una forma razonable de presentar evidencia.

---

$^\dagger$ Ya puedo escuchar las objeciones: las personas son terribles interpretando valores p, ¿entonces este valor único realmente es útil? Bueno, si no pueden interpretar correctamente un valor p, ¿cuáles crees que son sus posibilidades de extraer correctamente sus propias creencias previas en forma probabilística apropiada, luego aplicar la regla de Bayes para actualizar, y luego discretizar de nuevo a una probabilidad posterior final para las hipótesis de interés?

Answer 2

Bienvenido a CrossValidated.

Tienes razón, una "línea clara" de "significancia" estadística ha demostrado distorsionar interpretaciones y perjudicar la ciencia. Revistas revisadas por pares y autoridades regulatorias han causado daño en este aspecto. Mucho mejor como dijiste dejar que el lector decida. Indicar el valor p es mejor que usar p < 0.05 y las probabilidades bayesianas son aún mejores que eso. En cualquier punto de la recolección de datos, puedes calcular múltiples probabilidades bayesianas para utilizar en la toma de decisiones, por ejemplo, Pr(A | datos, modelo previo) donde A = {efecto > 0, efecto < 0, efecto > trivial, |efecto| < épsilon}. La probabilidad de la última afirmación proporciona evidencia de similitud.

Es sabio ser más intencional y utilizar diseños sólidos al hacer pruebas secuenciales. Por ejemplo, necesitas tener comparabilidad de datos a lo largo del tiempo y no variabilidad en la forma en que se miden las cosas. Entonces realmente puedes aprovechar al máximo el enfoque de Bayes con aprendizaje continuo. A diferencia de los valores p que se calculan varias veces, las probabilidades a posteriori bayesianas son solo actualizaciones que hacen que las probabilidades anteriores sean obsoletas, y no se involucran multiplicidades. Esto se detalla aquí.

Un punto importante relacionado con el análisis secuencial es que no se requiere un cálculo del tamaño de muestra. La mayoría de los estudios basados en significancia estadística se basan en tamaños de muestra poco realistas cuyos cálculos dependían de cantidades desconocidas, por lo que el tamaño de muestra era solo una estimación aproximada.

Answer 3

La necesidad es la madre de toda invención. A principios de 1900 no había computadoras potentes que pudieran ejecutar un cálculo bayesiano. Por lo tanto, se necesitaban métodos alternativos. Históricamente, la inferencia bayesiana es más antigua que la inferencia frecuentista, porque el enfoque bayesiano es mucho más intuitivo de usar. Pero muy pronto se hizo evidente que el enfoque bayesiano es impráctico a menos que se tenga un problema muy simple.

Con la falta de computadoras, la gente tuvo que inventar maneras ingeniosas de hacer inferencias evitando la intensa computación que surgía. Este fue el nacimiento de la escuela frecuentista de estadística. Te permite reducir tus problemas de inferencia al cálculo de sumas, cuadrados y promedios, junto con algunas raíces cuadradas. Calculas tu "estadístico de prueba" y luego buscas los valores de p en una tabla apropiada. Las tablas estaban todas pre-determinadas, por lo que no era necesario volver a calcularlas. Al reducir los problemas estadísticos a una familia de distribuciones de muestreo, se facilitó mucho los cálculos.

Ahora que tenemos software que puede ejecutar estos cálculos bayesianos, ¿por qué no volver a la forma en que la gente quería hacer estadísticas pero no podía? Hay varias razones para esto:

• Pedagogía. Es mucho más fácil enseñar a los recién llegados a calcular promedios, cuadrados y buscar números en una tabla/base de datos que enseñarles funciones de verosimilitud y el teorema de Bayes. Esto último requiere más bases en matemáticas. Muchos investigadores ni siquiera se sienten cómodos con los logaritmos.
• Viejos hábitos. Una vez que las personas aprenden cómo hacer algo, es muy difícil hacer que aprendan algo nuevo, incluso si lo nuevo es mucho mejor. Fue difícil aprender estadísticas al principio, con todas las pruebas, todo el software. ¿Y ahora les estás diciendo a las personas que olviden eso y vuelvan a aprender estadísticas desde el principio? ¿Por qué lo harían? Así que la gente se aferrará a una metodología inferior.
• Investigación. Las personas que tienen una profesión académica deben publicar artículos. La verdad del asunto es que la mayoría de esos artículos son triviales, por no mencionar que la mayoría probablemente son incorrectos. Una vez que un estudio se vuelve estadísticamente significativo, o se manipula el valor de p para que sea significativo, entonces puede ser elegible para ser publicado. Así es como funciona en gran medida el mundo académico. Así es como la gente construye su carrera. Decirle a la gente que deje de hacer eso, que publique menos y arriesgue sus carreras no es algo que la gente esté dispuesta a hacer. Es triste que sea así, pero así es como funciona.

Answer 4

Solo para abordar la pregunta en el título "¿Por qué usamos pruebas de hipótesis en lugar de permitir que las personas hagan actualizaciones bayesianas?" directamente...

La razón es que la probabilidad bayesiana se consideraba tener una base subjetiva que era indeseable a priori y los científicos/estadísticos querían colocar las cosas en una base más objetiva. Hay dos problemas con esto (i) el Bayesianismo no necesariamente es subjetivo (cf. Jaynes) y (ii) el frecuentismo no elimina la subjetividad o la necesidad de conocimiento previo - creo que Fisher escribió que el nivel de significancia para una NHST debería depender de la naturaleza del problema. Así que a menudo los elementos subjetivos de una NHST simplemente se "barren bajo la alfombra".

También está el punto de que el método bayesiano a menudo implica problemas de integración personalizados, que van más allá de las habilidades matemáticas de muchos usuarios, y los procedimientos frecuentistas a menudo se implementan fácilmente (sin una comprensión sólida del marco subyacente), que también es una de las razones por las que proliferan las pseudo-NHST Fisherianas.

Así que gran parte de esto es contexto histórico.

Answer 5

No creo que este sea un problema de qué método/algoritmo/prueba usemos, creo que este es un problema mucho más fundamental de las personas que estamos utilizando. Cada enfoque tiene ventajas y desventajas, cada enfoque tiene formas de abusarlo absolutamente. Si las personas que hacen los análisis son conocedoras y honestas sobre su trabajo, importa poco qué herramienta utilicen. Si las personas que realizan estos análisis tienen poco o ningún conocimiento y/o son deshonestas, entonces ningún enfoque va a solucionar eso.

Así como no dejarías que cualquier persona de la calle haga las tuberías en tu casa, probablemente debería haber algún estándar sobre quién puede analizar (y publicar) datos. Pero si alguien muestra competencia en el campo, entonces las herramientas que utilizan son menos importantes (hay muchas formas de pelar un gato/cocinar un huevo, etc.).