¿Es apropiado un enfoque frecuentista de la inferencia cuando se trabaja con datos no repetibles?

Question

Jackman (2009) escribe en las páginas xxxi-xxxii:

Pensemos en los investigadores que analizan datos transnacionales en economía, ciencias políticas o sociología, por ejemplo, utilizando datos de las cuentas nacionales de la OCDE. [...] se pueden introducir los datos de la OCDE en un programa informático, y tener errores estándar y pruebas de significación para varias estadísticas estadísticas (por ejemplo, medias, correlaciones, regresiones) como es habitual. Pero, ¿qué Pero, ¿qué hacen esos errores estándar media ¿en este contexto?

Concluye en la página xxxii que "adherirse a una concepción frecuentista de la probabilidad ante datos no repetibles supone un riesgo de vergüenza intelectual" y es inapropiado.

¿Es esto correcto?

Jackman, S. (2009). Análisis bayesiano para las ciencias sociales . John Wiley & Sons.

Answer 1

El argumento de la "no repetibilidad" es una pista falsa promovida por los del lado bayesiano extremo. Al fin y al cabo, tanto los frecuentistas como los bayesianos parten precisamente del mismo punto: un modelo de datos potencialmente observables dado por $P(Y|X, \theta)$ . Este modelo afirma que los datos que vemos no son más que una realización de un conjunto (potencialmente infinito) de posibles conjuntos de datos. Así que, aunque el estudio no sea físicamente repetible, sí se considera conceptualmente repetible, por personas de ambos bandos.

Del mismo modo, a los que se sitúan en el lado frecuentista extremo no les gustará mi caracterización anterior, porque no les gusta la parte "conceptual". Pero, a fin de cuentas, excepto en lugares como los casinos, los estudios nunca son exactamente repetibles en un sentido físico (e incluso se puede argumentar sobre los casinos), por lo que el requisito de la estricta replicabilidad física haría que la mayor parte de la estadística fuera discutible.

Answer 2

Parece una forma cualitativa de expresar la pérdida de confianza en los valores p utilizados en las pruebas de hipótesis frecuentistas para cuantificar la importancia de los resultados.

En primer lugar, los valores p son notoriamente difíciles de interpretar/explicar. Citando Andrew Gelman ...

La visión casual del valor P como probabilidad posterior de la veracidad de la hipótesis nula es falsa y ni siquiera está cerca de ser válida bajo ningún modelo razonable, y sin embargo este malentendido persiste incluso en los entornos de alto nivel ..... La visión formal del valor P como probabilidad condicional a la nula es matemáticamente correcta, pero suele ser irrelevante para los objetivos de la investigación (de ahí la popularidad de las interpretaciones alternativas, aunque erróneas).

En segundo lugar, como se describe en este julio de 2017 artículo de Nature En los últimos años, el uso de los valores p frecuentistas como prueba de significación ha contribuido a producir una serie de resultados considerados significativos que no pueden reproducirse...

Shlomo Argamon, informático del Instituto de Tecnología de Illinois en Chicago, dice... "no importa el nivel de confianza que elijas, si hay suficientes formas diferentes de diseñar tu experimento, resulta muy probable que al menos una de ellas dé un resultado estadísticamente significativo sólo por azar"

Ahora bien, el riesgo descrito anteriormente puede eliminarse en gran medida si se cuenta con un diseño experimental sencillo que pueda repetirse, pero si su experimento no es repetible, entonces se queda con el único valor p que obtiene en el único intento.

Estos problemas con los valores p pueden corregirse, y probablemente sea un poco exagerado pensar que son inherentes a una "concepción frecuentista de la probabilidad", pero también es cierto que los métodos bayesianos se ven menos afectados por estos problemas concretos.