11 votos

¿Puedo comparar los valores p?

Supongamos que tengo 2 vacunas A y B. Se prueban en 2 grupos de pacientes. Digamos que cada grupo tiene n=1000 personas extraídas de la misma población, la vacuna A se utiliza en el grupo 1 y la vacuna B se utiliza en el grupo 2. Se observa que en el grupo 1 se curan 70 pacientes varones y 40 mujeres, mientras que en el grupo 2 se curan 55 pacientes varones y 50 mujeres.

Entonces puedo probar la siguiente hipótesis:

  • la vacuna A es más eficaz en los pacientes masculinos que en los femeninos
  • la vacuna B es más eficaz en los pacientes masculinos que en los femeninos

Cada prueba de hipótesis producirá un valor p, p1 y p2. Ahora veo que p1 es menor que p2, ¿hay algo que pueda decir con respecto a qué vacuna es más eficaz en los pacientes masculinos?

10voto

Alex Puntos 128

No podrá decir qué efecto es mayor simplemente mirando los valores p.

No has dicho cuántas personas de cada sexo había en cada grupo, pero vamos a suponer que están divididos por igual por ahora.

Que el resultado sea $y=0$ por no estar curado, y $y=1$ para curarse. Los datos son entonces

 y   Group    Sex   n
1 0 Group A Female 460
2 0 Group A   Male 430
3 0 Group B Female 450
4 0 Group B   Male 445
5 1 Group A Female  40
6 1 Group A   Male  70
7 1 Group B Female  50
8 1 Group B   Male  55

Vamos a modelar el riesgo de ser curado usando

$$ \log \left( \dfrac{p}{1-p} \right) = \beta_0 + \beta_1x_1 + \beta_2 x_2 + \beta_3x_1x_2 $$

Aquí:

  • $\beta_0$ es la categoría de referencia (mujeres del grupo A).
  • $\beta_1$ es el efecto de estar en el grupo B
  • $\beta_2$ es el efecto de ser hombre
  • $\beta_3$ es la interacción del grupo B y el hecho de ser hombre.

Por lo tanto, el riesgo de ser curado en la escala logit del grupo A es

$$\log \left( \dfrac{p}{1-p} \right) = \beta_0 + \beta_2$$

y el riesgo de ser curado en la escala logit del grupo B es

$$\log \left( \dfrac{p}{1-p} \right) = \beta_0 + \beta_1 + \beta_2 + \beta_3$$

La diferencia de riesgos es la cantidad $\beta_1 + \beta_3$ . Nuestro nulo es que $\beta_1 + \beta_3 = 0$ frente a la alternativa de que $\beta_1 + \beta_3 \neq 0$ . Utilizando R para realizar los cálculos...

# Fit a logistic regression to the data
mod<-glm(y ~ Group*Sex, data = model_data, family=binomial(), weights = n)

# Extract the covariance matrix for the coefficients
Sigma = vcov(model)

# Compute the standard error of the estimate using the covariance matrix

x = c(0, 1, 0, 1)
b = sum(coef(mod) %*% x)
se_b = x %*% Sigma %*% x

# Test statistic
z = b/sqrt(se_b)
>>> -1.43

La estadística de la prueba es $z = -1.43$ lo que arroja un valor p de aproximadamente 0,15. No podríamos rechazar la hipótesis nula de que los varones tienen diferentes riesgos de curarse en las distintas poblaciones.

EDITAR:

Puede haber una forma más sencilla de comprobarlo. La hipótesis planteada se refiere realmente a la homogeneidad de las odds ratio entre estratos, aquí estratificados por población. Podemos hacerlo utilizando la prueba de homogeneidad de Cochran. Trabajaré con log odds ratios porque son ligeramente más simples algebraicamente.

Dejemos que $\hat{\theta}_k$ sea el logaritmo de las probabilidades en el $k^{th}$ estratos. Sea $\hat{\theta}$ sea la estimación de la odds ratio marginal (agrupando estratos). Asintóticamente,

$$\widehat{\theta}_{k}-\theta \stackrel{d}{\approx} N\left(0, \sigma_{\widehat{\theta}_{k}}^{2}\right)$$

Dejemos que $\tau_k = \sigma^{-2}_{\hat{\theta}_k}$ sea la precisión estimada de la log odds ratio. Un estadístico de prueba para la homogeneidad de las odds ratio es

$$X_{H, C}^{2}=\sum_{k} \widehat{\tau}_{k}\left(\widehat{\theta}_{k}-\hat{\theta}\right)^{2}$$

Donde $X^2_{H, C} \sim \chi^2_{K-1}$ . Cuando calculo esta estadística de prueba, obtengo $X^2_{H, C} = 3.136$ que arroja un valor p de 0,076, de nuevo sin rechazar la nulidad. Para más información, véase la sección 4.6.2 de este libro .

9voto

Pitouille Puntos 29

No es una respuesta elaborada porque ya tenemos una, pero sí un poco más de atención a esta parte de la pregunta:

Ahora veo que la p1 es más pequeña que la p2, ¿hay algo que pueda decir con respecto a qué vacuna es más efectiva en los pacientes masculinos?

"El Valor p es la probabilidad de obtener resultados de la prueba al menos tan extremos como los resultados realmente observados, bajo el supuesto de que la hipótesis nula es correcta". Se calcula a partir de la muestra y se utiliza para hacer inferencia sobre la población más amplia. Se asocia a una hipótesis nula concreta.... y, por tanto, es complicado compararla, como tal, con otro valor p.

Comparación del valor p significativo con el no significativo

En el ejemplo que has proporcionado (y suponiendo que los hombres y las mujeres se distribuyen por igual), no se puede rechazar la hipótesis nula de la segunda prueba (vacuna B) (valor p2 = 0,606 para la prueba de 2 muestras para la igualdad de proporciones)... Por lo tanto, la comparación de los valores p será aún más que arriesgada (si hubiera tenido sentido), ya que ni siquiera es significativa.

El valor p sólo cuenta una pequeña parte de la historia

Otra ilustración, el valor p de su primera prueba (vacuna A) es el valor p1 = 0,0024 (prueba de 2 muestras para la igualdad de proporciones) para 70 pacientes masculinos y 40 pacientes femeninos. Sin embargo, se obtiene un valor p similar de 0,0025 para 399 hombres curados y 358 mujeres curadas.

Por lo tanto, se obtiene el mismo (o similar) valor p que en la prueba inicial de la vacuna A, pero la eficacia global de la vacuna es mucho más importante (cubriendo el 70% - 80% de los pacientes). En este tipo de pruebas, el valor p no te dice la historia de cada vacuna y oculta su eficiencia global... lo que puede llevar a conclusiones incorrectas.

A continuación se muestra una ilustración de todos los pares posibles hombre/mujer (donde la vacuna A es más eficiente en los hombres) para un valor p muy similar al de su primera prueba (vacuna A):

enter image description here

En otras palabras, obtenemos valores p similares si la vacuna A cura a 14 hombres y 2 mujeres o si cura a 498 hombres y 486 mujeres.

Por último, tiene que contar una historia en la que se pueda confiar, lo que significa que hay que realizar un análisis adecuado. Desgraciadamente, los valores p no dicen mucho sobre la calidad del análisis: unos valores p atractivos pueden en realidad ocultar análisis deficientes.

Así que no queda más remedio que afirmar una "nueva" hipótesis nula de que tanto la vacuna A como la B son más efectivas en los pacientes masculinos que en los femeninos, tal y como describe @Demetri.

Aprovecho también para destacar el interesante enlace (acceso directo) que menciona @StephanKolassa en los comentarios (ya que los comentarios no siempre se leen): " La diferencia entre "significativo" y "no significativo" no es en sí misma estadísticamente significativa " - Gelman & Stern (2006).

2voto

jgradim Puntos 1143

Dado que el tamaño del efecto es uno de los factores que intervienen en los valores p, hay casos en los que los valores p dicen algo útil sobre los tamaños del efecto, pero siempre es más útil mirar directamente los tamaños del efecto.

Además, tiene el problema de que sus valores p provienen de la prueba de la hipótesis de que la vacuna es más eficaz en los hombres que en las mujeres, en lugar de probar directamente la eficacia en los hombres. Esto significa que sus valores p difieren no sólo de la variable que le interesa (efectividad en los hombres) sino también de una que no le interesa (efectividad en las mujeres). Esto hace que los valores p sean aún más inútiles.

Habría pocas razones para no hacer simplemente una prueba de hipótesis basada en una hipótesis binomial o gaussiana de los datos. Si, por alguna razón, sólo se le dieran los valores p y no tuviera acceso a los datos brutos, lo mejor sería, probablemente, abstenerse de intentar sacar conclusiones.

Como nota puramente médica, más que estadística, generalmente las vacunas se utilizan para prevenir infecciones más que para curarlas (aunque supongo que hay casos en los que pueden hacer esto último).

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X