Cómo obtener los valores de p o intervalos de confianza para el coeficiente de correlación de pearson cuando la muestra es pequeña y potencialmente no-Gaussiano?

Question

Los p-valores proporcionados por la base de Matlab y Pylab de correlación de Pearson funciones están indicadas para ser inexactos para tamaños de muestra pequeños, o cuando las muestras no están distribuidos normalmente. La documentación de python sugiere el uso de un N>500 para el p-valor para ser exactos, mientras que la documentación de Matlab da ningún límite de tiempo específico distinto de "grande".

¿Alguien sabe de un método que puede correctamente la prueba de significación estadística del coeficiente de correlación de Pearson bajo tales circunstancias?

Mi instinto es que yo sólo podía realizar una prueba de permutación por la codificación de X o Y los valores y re-muestreo, el coeficiente de correlación de Pearson de los datos cifrados, entonces el uso de la distribución para obtener un intervalo de confianza. Pero, ¿será esto correcto?

Answer 1

En términos del valor de p, la respuesta se puede encontrar en un post anterior. Básicamente, el uso de la prueba de permutación de n<20. Una, en general, la normalización de transformación, tales como rankit, va a trabajar para el mayor n es y será más poderoso (Bishara Y Hittner, 2012). Por supuesto, si usted transformar, usted no está mirando a la relación lineal en la escala original.

En términos del intervalo de confianza, la respuesta es menos clara. No hay muchos de la publicación a gran escala de Monte Carlo comparaciones. Puth et al. (2014) tiene alguna evidencia de que el Pescador Z puede ser inadecuada con grandes violaciones de la normalidad. No había solución general - incluso bootstrap con BCa no resolverlo. Usted podría considerar la posibilidad de:

a)de Spearman CIs con Fisher Z. en Lugar de utilizar $SE_z=1/\sqrt(n-3)$, el uso de la Fieller et al. (1957) estimación del error estándar para el Pescador Z: $SE_z=1.03/\sqrt(n-3)$

b)la Transformación a través de rankit y, a continuación, el uso de la Z de Fisher para el CI como de costumbre

Referencias:

Bishara, A. J., & Hittner, J. B. (2012). Prueba de la importancia de la correlación con la no-normalidad de los datos: Comparación de Pearson, Spearman, transformación, y el remuestreo de los enfoques. Métodos Psicológicos, 17, 399-417. doi:10.1037/a0028087

Fieller, E. C., Hartley, H. O., & Pearson, E. S. (1957). Pruebas para el rango de coeficientes de correlación. I. Biometrika, 44, 470-481.

Puth, M., Neuhäuser, M., & Ruxton, G. D. (2014). El uso eficaz de Pearson el coeficiente de correlación producto momento. El Comportamiento De Los Animales, 93, 183-189.

Answer 2

Ciertamente se podría realizar una prueba de permutación (de la nula de que los dos son no correlacionados) en la forma que se sugieren, pero que normalmente no "uso de la distribución para obtener un intervalo de confianza" para la correlación.

Usted tendría lugar el uso de la distribución para obtener un p-valor, o una aceptación/rechazo) de la región.

Usted podría utilizar otro tipo de remuestreo enfoque - el de bootstrap para obtener un intervalo para la correlación, pero que, también, es justificado por la gran muestra de argumentos y no puede conseguir todo lo que cerca de la cobertura deseada en muestras pequeñas.

Sin embargo, si los datos están fuertemente no-normal, es bastante común que la relación entre las variables a ser curvadas en lugar de lineal. Usted puede ser que desee considerar monotónica en lugar de lineal de la asociación. En ese caso, hay varias medidas de monotónica de la asociación (es decir, 'hacer las variables mover hacia arriba/abajo juntos?' tipo de preguntas) que no cuentan con los supuestos de normalidad necesaria para ponerlos a prueba.

Lo que están realizando pruebas de correlación? (es decir, ¿cuál es el objetivo? ¿Qué estás tratando de averiguar?)