Encontrar la calidad del ajuste para dos variables discretas con estadísticas bajas

Question

Tengo datos de un experimento que intento explicar mediante un modelo. No tengo una fórmula analítica para la predicción del modelo, sino que he obtenido su predicción mediante una simulación. Los resultados son más o menos así (estos son datos ficticios, pero espero que se entienda la idea):

$ \begin{array}{c|c|c} & Experiment & Model \\ \hline \mbox{Bin 1} & 5 \pm 2& 3 \\ \mbox{Bin 2}&6 \pm 2&7 \\ \mbox{Bin 3 }&2 \pm 1 & 3 \\ \vdots & \vdots & \vdots \end{array} $

donde las diferentes franjas son independientes. Me gustaría cuantificar lo bien que se ajusta el modelo a los datos. El chi-cuadrado parece ser la medida perfecta si no fuera por la baja estadística.

También conozco el método de verosimilitud, pero los recursos que he encontrado en Internet explican el método en el contexto de una distribución continua con parámetros desconocidos. También he leído sobre la prueba de Fischer, pero no estoy seguro de que sea aplicable en este caso.

¿Cómo puedo cuantificar la calidad del ajuste?

Answer 1

Si ya está simulando a partir de un modelo, puede seguir utilizando la prueba de chi-cuadrado. Todo lo que tiene que hacer es, en lugar de calcular analíticamente la distribución nula utilizando la aproximación (no válida) de la muestra grande, averiguar su distribución simulando a partir de su modelo. Es decir:

1. Calcule el recuento esperado en cada fila utilizando sus simulaciones.

2. Calcule el $\chi^2$ estadística de sus datos observados utilizando estos recuentos esperados.

3. Simule varios conjuntos de datos más de su modelo y calcule el $\chi^2$ estadística para cada uno. Esto se conoce como (un tipo de) el arranque .

4. Su p -El valor es el percentil de lo observado $\chi^2$ entre el valor de los bootstrap $\chi^2$ estadísticas. Por lo tanto, si el observado $\chi^2$ es mayor que el 95% de los simulados, entonces podría rechazar la hipótesis de que los datos observados fueron extraídos de su modelo.

Tenga en cuenta que, si su modelo tiene una varianza alta y usted tiene recuentos bajos, esta prueba puede no tener mucha potencia, es decir, puede no rechazar ni siquiera los datos extremos.