Dado que ahora tenemos un poder de cálculo ilimitado (en relación con las normas históricas), ¿necesitamos usar métodos estadísticos en lugar de simulaciones?

Question

En 2016, Allen Downey escribió una publicación en su blog titulada "There is still only one test" que discute las ventajas de realizar simulaciones en lugar de pruebas estadísticas tradicionales. Argumenta que dado que la computación es ahora decenas de miles de veces más rápida en comparación con las normas históricas, los métodos analíticos tradicionales en estadística ya no tienen sentido. Por ejemplo, cuando se descubrió la prueba t en 1908, fue extremadamente útil ya que todos los cálculos se hacían a mano. Pero en la actualidad, un iPhone puede realizar cálculos estadísticos cerca de 10^11 veces más rápido de lo que podría hacerlo una persona a mano en 1908.

Para citar a Downey:

Estos métodos analíticos eran necesarios cuando la computación era lenta y costosa, pero a medida que la computación se vuelve más barata y rápida, son menos atractivos porque:

1. Son inflexibles: Si usas una prueba estándar, estás comprometido a utilizar una estadística de prueba y un modelo particular de hipótesis nula. Es posible que debas utilizar una estadística de prueba que no sea apropiada para tu dominio del problema, solo porque se preste para el análisis. Y si el problema que estás intentando resolver no encaja en un modelo prefabricado, estás fuera de suerte.

2. Son opacos: La hipótesis nula es un modelo, lo que significa que es una simplificación del mundo. Para cualquier escenario del mundo real, existen muchos modelos posibles, basados en diferentes suposiciones. En la mayoría de las pruebas estándar, estas suposiciones son implícitas y no es fácil saber si un modelo es apropiado para un escenario particular.

Una de las ventajas más importantes de los métodos de simulación es que hacen explícito el modelo. Cuando creas una simulación, te ves obligado a reflexionar sobre tus decisiones de modelado, y las simulaciones mismas documentan esas decisiones.

También proporciona un ejemplo práctico de tal simulación en esta publicación de blog. Esto me hace preguntar:

1. Con la potencia computacional disponible hoy en día, ¿por qué seguimos realizando pruebas estadísticas tradicionales en lugar de crear modelos explícitos y ejecutar millones de simulaciones para averiguar el verdadero valor p de una observación?
2. ¿Todavía existen escenarios donde los métodos estadísticos tradicionales son preferibles a las simulaciones?

Answer 1

¿Cuántas variables tienes?

Si tienes 3 variables que interactúan y estás inyectando datos sin entender el sistema, 100 mil iteraciones pueden ser solo 100 iteraciones de la región "útil". Si tienes 6 variables interactuando, eso equivale a 10 iteraciones, y es posible que no puedas inferir un ajuste útil a partir de eso.