El valor p es la probabilidad de que una determinada observación -o más extrema- se deba al azar, dado que la observación se extrae de la distribución original.
Normalmente (jaja) se espera que las observaciones estén bastante cerca de la media aritmética de la distribución. Si una observación se aleja de la media, puede deberse a dos cosas: a) la observación se ha producido por casualidad, lo cual tiene que ser posible; de lo contrario, la función de densidad de probabilidad de la distribución estaría a 0 de la media. O b) la observación es diferente porque está generada por una distribución diferente con una media que difiere de la original. Así que un valor p pequeño significa que una observación tan alejada de la media de la distribución original es súper improbable, si fue generada por esa distribución. Totalmente posible, pero realmente improbable (es decir, con probabilidad p).
Existe una convención en una rama de la comunidad estadística que considera que los valores p por debajo de un determinado umbral son una prueba de que la observación procede de una distribución diferente a la original. Ese umbral se llama "alfa" y se establece antes de un experimento. Así, si alfa, por ejemplo, es 0,05 y p está por debajo de ese valor, pensamos que es una prueba de que la observación procede de una distribución diferente.
Esa es la historia de los valores p para las medias. Cuando se trata de correlaciones, la fuerza de la correlación (que es la observación en este caso) viene dada por una variable diferente - por ejemplo, r. Tener una r alta significa que la correlación es fuerte. Pero incluso los valores altos de r pueden tener diferentes valores de p: altos y bajos. Con un valor de p bajo pensamos que es poco probable obtener ese tipo de r debido al azar. Un valor de p alto puede ser signo de tener una gran cantidad de ruido en los datos, de modo que la correlación en sí misma es alta, pero la probabilidad de que se deba al azar también es alta. También se pueden tener valores muy bajos de r con alta certeza (valores bajos de p). Así que la fuerza de las correlaciones no se mide por p.