En febrero de 2016, la American Statistical Association publicó una declaración formal sobre la significación estadística y los valores p. Nuestro hilo sobre ello aborda ampliamente estas cuestiones. Sin embargo, ninguna autoridad ha ofrecido una alternativa eficaz universalmente reconocida, hasta ahora. La American Statistical Society (ASS) ha publicado su respuesta, p-valores: ¿Y ahora qué?
"El valor p no sirve para mucho".
Creemos que la ASA no fue lo suficientemente lejos. Es hora de admitir que la era de los p-valores ha terminado. Los estadísticos los han utilizado con éxito para desconcertar a los estudiantes universitarios, engañar a los científicos y embaucar a los editores de todo el mundo, pero el mundo está empezando a ver a través de esta artimaña. Tenemos que abandonar este intento de los estadísticos de principios del siglo XX de controlar la toma de decisiones. Tenemos que volver a lo que realmente funciona.
La propuesta oficial de la ASS es la siguiente:
En lugar de los valores p, el ASS aboga por el STOP (procedimiento SeaT-Of-Pants). Los antiguos griegos, los hombres del Renacimiento y todos los científicos utilizaban este método consagrado y comprobado hasta que llegó Ronald Fisher y arruinó todo. El STOP es sencillo, directo, basado en datos y autorizado. Para llevarlo a cabo, una figura de autoridad (un hombre mayor, por preferencia) revisa los datos y decide si están de acuerdo con su opinión. Cuando él decide que sí, el resultado es "significativo". De lo contrario, no lo es y todo el mundo debe olvidarse del asunto.
Principios
La respuesta aborda cada uno de los seis principios de la ASA.
-
El STOP puede indicar la incompatibilidad de los datos con un modelo estadístico determinado.
Nos gusta esta frase porque es una forma elegante de decir que la STOP responderá sí o no a cualquier pregunta. A diferencia de los valores p u otros procedimientos estadísticos, no deja lugar a dudas. Es la respuesta perfecta a los que dicen "¡no necesitamos ninguna apestosa hipótesis nula! ¿Qué es eso? Nadie ha podido averiguar nunca qué se supone que es".
-
El STOP no mide la probabilidad de que una hipótesis sea cierta: en realidad decide si es cierta o no.
Todo el mundo se confunde con las probabilidades. Al eliminar las probabilidades, el STOP elimina la necesidad de años de estudios universitarios y de posgrado. Ahora cualquiera (que sea lo suficientemente mayor y varón) puede realizar análisis estadísticos sin el dolor y la tortura de escuchar una sola clase de estadística o ejecutar un software arcano que arroja resultados ininteligibles.
-
Las conclusiones científicas y las decisiones empresariales o políticas pueden basarse en el sentido común y en auténticas figuras de autoridad.
De todos modos, las decisiones importantes siempre las han tomado las autoridades, así que admitámoslo y dejémonos de intermediarios. El uso del STOP liberará a los estadísticos para hacer lo que mejor se les da: utilizar los números para ofuscar la verdad y santificar las preferencias de quienes ostentan el poder.
-
Una inferencia adecuada requiere información completa y transparencia.
El STOP es el procedimiento estadístico más transparente y evidente que jamás se haya inventado: se miran los datos y se decide. Elimina todas esas confusas pruebas z, pruebas t, pruebas chi-cuadrado y procedimientos de sopa de letras (ANOVA! GLM! MLE!) utilizados por la gente para ocultar el hecho de que no tienen ni idea de lo que significan los datos.
-
El STOP mide la importancia del resultado.
Esto es evidente: si una persona con autoridad emplea el STOP, entonces el resultado debe ser importante.
-
Por sí mismo, el STOP proporciona una buena medida de evidencia respecto a un modelo o hipótesis.
No querríamos desafiar a una autoridad, ¿verdad? Los investigadores y los responsables de la toma de decisiones reconocerán que el STOP les proporciona toda la información que necesitan saber. Por estas razones, el análisis de datos puede terminar con el STOP; no hay necesidad de enfoques alternativos, como los valores p, el aprendizaje automático o la astrología.
Otros enfoques
Algunos estadísticos prefieren los llamados métodos "bayesianos", en los que un oscuro teorema publicado póstumamente por un clérigo del siglo XVIII se aplica sin pensar para resolver todos los problemas. Sus más destacados defensores admiten libremente que estos métodos son "subjetivos". Si vamos a utilizar métodos subjetivos, es obvio que cuanto más autoridad y conocimientos tenga el responsable de la toma de decisiones, mejor será el resultado. El STOP surge así como el límite lógico de todos los métodos de Bayes. ¿Por qué esforzarse en hacer esos cálculos horribles, y consumir tanto tiempo de ordenador, cuando puedes simplemente mostrar los datos al responsable y preguntarle cuál es su opinión? Fin de la historia.
Recientemente ha surgido otra comunidad que desafía el sacerdocio de los estadísticos. Se autodenominan "aprendices de máquinas" y "científicos de datos", pero en realidad no son más que piratas informáticos en busca de un estatus superior. La posición oficial de la ASS es que estos tipos deberían formar su propia organización profesional si quieren que la gente les tome en serio.
La cuestión
¿Es ésta la respuesta a los problemas que la ASA identificó con los valores p y las pruebas de hipótesis nulas? ¿Puede realmente unir los paradigmas bayesiano y frecuentista (como se afirma implícitamente en la respuesta)?
12 votos
"Donald Trump para juez supremo: ¡que las estadísticas vuelvan a ser grandes!".
16 votos
Está claro que STOP es un procedimiento subóptimo. Me sorprende que esto se le haya escapado a una organización de estudiosos tan estimada como la ASS. A saber, ¿por qué perder el tiempo mirando los datos en absoluto ? Sólo tiene que responder sí o no. Esta metodología ya se utiliza actualmente con gran éxito. Abundan los estudios de casos, sobre todo en Estados Unidos durante los años divisibles por 4.
0 votos
¿Te das cuenta de que este Sociedad Americana de Estadística ¿no es una organización real? (Era el nombre de la Asociación Americana de Estadística de noviembre de 1839 a febrero de 1840, pero eso apenas cuenta). STOP es una broma
5 votos
Creo que las empresas también podrían beneficiarse enormemente de la adopción de estos métodos, puesto que ya no tendrían que asumir el elevado coste de contratar a personas para analizar sus datos.
6 votos
@henry ¿Como si la etiqueta [april-1] no nos lo dijera?
10 votos
@Henry ¿En serio? ¿Puedes mostrarnos cualquier ¿una organización falsa que recibe más de un cuarto de millón de visitas cuando se busca su nombre en Google?
2 votos
¿Y quién dijo que los estadísticos no tienen sentido del humor? Aunque si lo pienso bien, es como si tienen para sobrevivir en este campo, ya que con frecuencia se abusa de estas piedras angulares de la práctica estadística y se malinterpretan, ya sea por ignorancia o por engaño.
2 votos
@Glen_b: Lo siento - se me pasó la etiqueta y mi única excusa fue que todavía era marzo en mi zona horaria cuando leí el mensaje. whuber: El nunca existente "Revista de la Sociedad Estadística Americana" aparentemente recibe medio millón de visitas, y es probable que haya un interesante estudio de patrones de cuando se ha citado como tal en los trabajos de investigación
1 votos
El STOP está muy bien, pero a veces hace falta un análisis independiente para dar credibilidad a la conclusión. Por lo tanto, hay que encargar un estudio independiente y generar hipótesis "razonables" para el estudio que garanticen que el análisis independiente llega a la conclusión correcta. Se trata de un método muy habitual. Lo peor es que muchos analistas que realizan "análisis independientes" ni siquiera se dan cuenta de lo que está pasando. Por supuesto, la gente varía en su sofisticación en cuanto a lo inocuas que parecen las suposiciones que proporcionan, desde muy sutiles a increíblemente obvias.
0 votos
Es $\alpha=0.05$ ¿escrito en piedra? ¿Qué significa realmente? Parte del problema es que nuestras probabilidades dejan mucho que desear. Creo que esto puede solucionarse, véase mi pregunta en stats.stackexchange.com/q/243126/99274 y cuéntame lo que piensas.