Qué sentido tiene comparar los valores de p para cada uno de los otros?

Question

Tengo dos poblaciones (hombres y mujeres), cada uno con $1000$ de las muestras. Para cada muestra, tengo dos propiedades a Y B (primer año promedio de punto de grado, y el SAT). He utilizado un t-test por separado para A & B: ambos se encontraron diferencias significativas entre los dos grupos; Un con $p=0.008$ e B $p=0.002$.

¿Es correcto afirmar que la propiedad B, es la más discriminada (más significativo) luego de la propiedad? O es que un t-test es sólo un sí o un no (significativas o no significativas) medir?

Actualización: de acuerdo a los comentarios aquí y lo que he leído en la wikipedia, creo que la respuesta debe ser: soltar el sentido p-valor y el informe de su tamaño del efecto. Los pensamientos?

Answer 1

Creo que la aceptó responder por @Michelle no ofrece una respuesta adecuada (-1). Véase el comentario de @gung (+1). Me gustaría dar una breve respuesta alternativa, ampliando @gung del comentario.

Muchas personas dirían que un $p$-valor puede ser importante ($p< \alpha$) o no, y así no tiene sentido comparar dos $p$-valores entre uno y otro. Esto es incorrecto.

En su caso particular no hay absolutamente ninguna duda de que usted puede comparar directamente el $p$-valores. Si el tamaño de la muestra es fijo ( $n=1000$ ), $p$- valores son monótonamente relativa a $t$-valores, que son, a su vez, monótonamente, relacionadas con el tamaño del efecto medido por Cohen $d$. Específicamente, $d=2t/\sqrt{n}$. Esto significa que su $p$-los valores están en una correspondencia uno a uno con el tamaño del efecto, y así usted puede estar seguro de que si el $p$-valor de la propiedad es mayor que para la propiedad B, entonces el tamaño del efecto de a es menor que la de propiedad de B.

Creo que esto contesta a tu pregunta.

Varios puntos adicionales:

1. Esto sólo es cierto dado que el tamaño de la muestra $n$ es fijo. Si usted consigue $p=0.008$ de la propiedad en un experimento con un tamaño de la muestra, y $p=0.002$ de propiedad de B en otro experimento con otro tamaño de la muestra, es más difícil compararlos.

   • Si la pregunta es, específicamente, si a o B son mejores "discriminados" en la población (es decir: cómo se puede predecir el género mirando la a o la B los valores?), entonces usted debe buscar en el tamaño del efecto. En los casos simples, a sabiendas de $p$ $n$ es suficiente para calcular el tamaño del efecto.

   • Si la pregunta es más vago: ¿qué experimento proporciona más "pruebas" en contra de la nula? (esto puede ser significativo, por ejemplo, si A=B), entonces la cuestión se vuelve complicado y polémico, pero yo diría que el $p$-valor, por definición, es un escalar resumen de la evidencia en contra de la nulos, de modo que la parte inferior de la $p$-valor, más fuerte será la evidencia, incluso si los tamaños de las muestras son diferentes.

2. Diciendo que el tamaño del efecto de B es mayor que para Una, no significa que es significativamente más grande. Usted necesita algunas comparación directa entre a y B para hacer tal afirmación.

3. Siempre es una buena idea para informe (e interpretar) los tamaños del efecto y los intervalos de confianza, además de a $p$-valores.

Answer 2

Usted no puede usar los valores de p para que la reclamación que usted sugiere. Por delante de el diseño de la investigación, y sin duda por delante de el análisis de los datos, se puede seleccionar un "crítico" p-valor, por debajo de la cual se decide que hay suficiente evidencia para rechazar la hipótesis nula (H0). El p-valor se obtiene a partir de los análisis de datos representa la probabilidad de obtener un estadístico de prueba de al menos tan extremo como el que realmente se ha observado, dado que la hipótesis nula es verdadera, donde el crítico p-valor define el inicio del rechazo de rango para el valor null. Este es un rango, porque usted va a rechazar la hipótesis nula para todo valor de p en virtud de que el valor crítico, independientemente de su tamaño.

Esencialmente sus p-valores son simplemente diciéndole que no se puede rechazar la hipótesis nula para ambos a y B. Debido a que es estrictamente un sí/no binario de prueba para la hipótesis nula (sólo estás comparando cada valor de p para el valor crítico), el p-valor en sí mismo no tiene sentido. Por lo tanto, no es estadísticamente precisa para comparar los p-valores.

Actualizar: p-valores son estimaciones, sólo como medios, proporciones, etc, son estimaciones. Si ejecutó el estudio de nuevo, no se podría esperar para obtener exactamente los mismos valores de p, aunque es de esperar para rechazar la hipótesis nula de un segundo de tiempo. Desde ese punto de vista también no tiene sentido para el tratamiento de un p-valor como un valor exacto.

Answer 3

Usted obtiene una diferencia en p, pero no está claro cuál es la diferencia significa (si es grande, pequeño y significativo?)

Tal vez el uso de bootstrap:

seleccione (con reemplazo) de sus datos, de rehacer sus pruebas, calcular la diferencia de p (p_a - p_b) , repita los 100-200 veces

comprobar qué fracción de su delta p es < 0 (significado p de a es por debajo de p de B)

Nota: yo he visto a este hecho, pero no soy un experto.

Answer 4

Se ha agregado una respuesta ya que era demasiado largo para un comentario!

Michelle tiene una buena respuesta, pero los muchos comentarios que muestran algunos de los debates que surjan sobre los p-valores. Las ideas básicas son las siguientes:

1) Un menor valor de p no significa que el resultado es más o menos importante. Sólo significa que la probabilidad de obtener un resultado al menos tan extremo es menos probable. La significación es un resultado binario basado en su nivel de significación elegido, a elegir antes de ejecutar la prueba).

2) el tamaño del Efecto (a menudo normalizada a #'s de desviaciones estándar) es una buena manera de cuantificar "cómo diferentes" dos números. Así que si la Cantidad a tiene un tamaño del efecto de .8 desviaciones estándar y la Cantidad de B tiene un tamaño del efecto de .5 desviaciones estándar, se diría que hay una mayor diferencia entre los dos grupos en la Cantidad que en la Cantidad de B. medidas Estándar son:

.2 desviaciones estándar = "small" efecto

.5 desviaciones estándar = "medio" efecto

.8 desviaciones estándar = "grande" efecto