Obtención del valor p de una prueba chi-cuadrado en Matlab

Question

Actualmente estoy ajustando un modelo a un conjunto de datos. Para medir la bondad del ajuste estoy utilizando la prueba de chi-cuadrado con

$H_0$ : El modelo se ajusta a los datos ( $\chi^2 \lt \chi^2_{critical}$ )

$H_1$ : El modelo no se ajusta a los datos ( $\chi^2 \gt \chi^2_{critical}$ )

La siguiente figura muestra los puntos de datos en negro y el modelo ajustado en naranja.

Los puntos de datos en negro son incidencias de un evento (revelación de una vulnerabilidad de seguridad) a lo largo del eje temporal. En el momento 1 se han producido 2 eventos en total. En el momento 101 se han producido 160 eventos en total.

Así, $\text{df} = 101-1 = 100$

La curva naranja se obtiene ajustando el modelo logístico alhazmi malaiya (un modelo conocido para modelizar el proceso de descubrimiento de vulnerabilidades) dado por la ecuación

$\Omega(t) = \frac{B}{B\times C\times e^{-A\times B\times t} + 1}$

Los parámetros A, B y C se seleccionan durante el proceso de ajuste para que el modelo describa lo mejor posible los puntos de datos. Por lo tanto, la combinación de parámetros que da como resultado el $\chi^2$ ha sido seleccionado.

$\chi^2$ se calcula utilizando los puntos de datos (negros) como $o_i$ y los valores obtenidos resolviendo la ecuación en el tiempo t como $e_i$ en la fórmula

$\chi^2 = \sum\frac{(o_i - e_i)^2}{e_i}$

Esto me da en mi caso $\chi^2 = 111.8410$ y seleccionando $\alpha = 5\%$ Obtengo un valor crítico de $124.3421$ . En $111.8410 \lt 124.3421$ Acepto mi $H_0$ que afirma que los puntos de datos se distribuyen de acuerdo con el modelo o, en otras palabras, que el modelo describe los datos razonablemente bien.

En el caso anterior, ¿cuál es exactamente el valor P de este $\chi^2$ -¿Prueba?

Según Prueba chi-cuadrado de Pearson el valor P se calcula mediante

$ \text{P-Value} = 1 - \text{chi2cdf}(\chi^2, \text{df})$

En este caso, se obtendría un valor P de $0.0967$ lo que sugeriría un ajuste significativo del modelo. Pero, ¿no debería el valor P de un buen ajuste (un ajuste que se ha hecho especialmente para los datos) ser cercano a 1?

¿Es correcto este cálculo?

Por desgracia, la bibliografía con la que estoy trabajando no explica adecuadamente la metodología utilizada y no consigo reproducir los resultados. Uno de los documentos que utilizan el enfoque anterior es http://www.cs.colostate.edu/~malaiya/pub/issre05.pdf . Su prueba de bondad de ajuste se describe en la última sección de la página 5.

Answer 1

Varios puntos:

• Si todas las partes del modelo y los supuestos son correctos, el valor p debería ser uniforme en (0,1), no próximo a 1 (salvo por azar); un valor inferior a 0,01 no debería ser menos probable que un valor superior a 0,99

• El valor p, muy pequeño, sugiere que -para la cantidad y variabilidad de datos que tiene- los datos se distinguen del modelo ajustado.

• Me preocupa que varios de los supuestos en los que podría aplicarse el chi-cuadrado no se cumplan en esta situación, pero no hay suficientes detalles en la pregunta como para estar seguro.

  Edición^2: Tenga en cuenta que los recuentos acumulados son no independiente. Sea $Y_t=X_1+X_2+...+X_t$ sea el recuento acumulado actual, donde $X_t$ es el recuento adicional de notificaciones en el periodo $t$ .

  $\text{Cov}(Y_{t-1} ,Y_{t}) = \text{Cov}(X_1+X_2+X_3+...+X_{t-1} ,X_1+X_2+X_3+...+X_{t}) = \text{Var}(X_1+X_2+X_3+...+X_{t-1}) + \text{Cov}(X_1+X_2+X_3+...+X_{t-1}, X_{t})$

  Eso es no va a ser cero, por lo que sin duda estarán correlacionados.

  Como resultado, no creo que este cálculo de chi-cuadrado tenga sentido.

  Un chi-cuadrado en los incrementos puede estar mucho más cerca de ser razonable, pero no sé si necesariamente tiene sentido asumir una independencia completa allí tampoco (eso puede requerir algún conocimiento del dominio).

• Aunque se cumplan los supuestos (o se aproximen lo suficiente como para que no importe mucho), la curva ajustada puede ser "buena" en varios sentidos. Por ejemplo, con datos suficientes se pueden rechazar desviaciones bastante triviales del modelo, cuando el modelo -aunque se puede estar bastante seguro de que las desviaciones de los datos no se deben sólo a la variación aleatoria bajo el modelo- puede ser perfectamente adecuado para algunos propósitos. (Sus propósitos no quedan claros, así que, de nuevo, esto es difícil de discutir).

Answer 2

El estadístico chisquare que comentas se suele utilizar para comprobar la bondad de ajuste de los datos de tablas de contingencia. Se basa en el supuesto de que la distribución de los recuentos de celdas es multinomial, y la $(O_i - E_i)^2/E_i$ para cada célula tiene un $\chi^2_1$ distribución (que luego se suma). El problema es que esta distribución es no esperado con una distribución continua general de $E$ y $O$ .

Si está interesado en una prueba de bondad de ajuste global, intente agrupar los valores predichos según sus deciles y calcular la misma prueba. Se trata de la prueba de calibración de Hosmer Lemeshow. Se describe en su libro "Regresión logística".