¿Son más publicadas correlaciones en las ciencias sociales no confiables y lo que debe hacer al respecto?

Question

A pesar de los importantes, pero los cachetes de "gotcha"-istic esfuerzos de los individuos para revelar las prácticas de depredadores revistas, una mayor y más fundamental de la amenaza que se cierne en las sombras de la investigación en ciencias sociales (aunque sin duda hay varios problemas que los investigadores necesitan para la dirección). Para conseguir directamente al punto, de acuerdo a una visión que no puede ser capaz de confiar en los coeficientes de correlación derivados de las muestras de menos de 250.

Uno estaría en apuros para encontrar una prueba más de la que se basó para inferir la presencia, la dirección y la fuerza de la asociación entre las medidas en ciencias sociales de la confianza coeficiente de correlación. Sin embargo, uno no iba a ser difícil encontrar revisados los informes de hacer fuertes declaraciones acerca de la relación entre dos constructos basados en los coeficientes de correlación calculados a partir de datos con menos de 250 casos.

Dada la replicación actual crisis de las ciencias sociales (ver el segundo enlace de arriba), ¿cómo debemos ver este informe con respecto a la estabilización de los coeficientes de correlación sólo en muestras grandes (al menos por algún campo de las ciencias sociales estándares)? Es otra grieta en la pared de evaluación de pares investigación en ciencias sociales, o es relativamente trivial que ha sido exagerada en su presentación?

Como no es probable que una sola respuesta correcta a esta pregunta, espero que en lugar de generar un hilo donde los recursos sobre esta cuestión puede ser compartida, cuidadosamente considerado y debatido (educadamente y con respeto, por supuesto).

Answer 1

La adición de los intervalos de confianza para la estimación de los verdaderos coeficientes de correlación $\rho$ sería un pequeño (y muy simple) el primer paso en la dirección correcta. Su ancho de inmediato da una idea de la precisión de la muestra, de correlación y, al mismo tiempo, permite al escritor y también a la audiencia de prueba útil hipótesis. Lo que me desconcertó siempre cuando se habla de los estadísticos de la ciencia social que una absoluta muestra el coeficiente de correlación por encima de $L = 0.3$ (o algún otro límite) fue considerado significativo. Al mismo tiempo, se prueba la hipótesis de trabajo $\rho \ne 0$. Este es inconsequencial. ¿Por qué una población muy pequeña coeficiente de correlación de repente ser consideradas como válidas? El "correcto" hipótesis de trabajo sería $|\rho| > L$. Tener un intervalo de confianza para $\rho$ a mano, las hipótesis como esto se puede comprobar fácilmente: basta con comprobar que el intervalo se encuentra enteramente por encima de $L$ (o $-L$) y saber si usted puede reclamar una "sustancial" asociación estadística incluso en la población.

Por supuesto, la adición de un intervalo de confianza y el uso significativo de las pruebas no es una solución a muchos problemas (como los malos diseños de muestreo, se omite la consideración de factores de confusión, etc.). Pero básicamente es gratis. Me imagino incluso SPSS es capaz de calcular!

Answer 2

Como Michael M notas, de la fiabilidad de las reportado correlaciones - o de cualquier otra estimación - pueden ser evaluados mediante intervalos de confianza. A un grado, que es. Cei será demasiado estrecho si los modelos fueron seleccionados después de la recopilación de datos, que estimo que pasan aproximadamente el 95% del tiempo en las ciencias sociales (que voy a honestamente estado es una conjetura completa de la mina).

La solución es doble:

• Estamos hablando de una "repetición de la crisis". Por lo tanto, el error de repeticiones nos informan que la original efecto fue, probablemente, sólo el ruido aleatorio. Tenemos que hacer (y de fondo, y escribir, y enviar y aceptar) más repeticiones. Estudios de replicación poco a poco están ganando respetabilidad, y eso es una buena cosa.

• El segundo remedio es, por supuesto, meta-análisis. Si tenemos muchos informado de correlaciones de datos similares, incluso si cada uno de ellos tiene un bajo $n$, entonces podemos combinar la información y aprender algo. Idealmente, podemos incluso ser capaz de detectar la publicación del sesgo en el proceso.