Análogo chi-cuadrado para distribuciones dependientes del contexto.

Question

Vamos a imaginar que tenemos algunos experimentos. Cada experimento puede resultar en uno de los resultados: a, B, C. Así tenemos las distribuciones de probabilidad para cada experimento $P_A, P_B, P_C$ que es dependiente del contexto, por ejemplo:

1. $Context_1 \Rightarrow \{P_A^1, P_B^1, P_C^1\},$ experimentales resultado es Un
2. $Context_2 \Rightarrow \{P_A^2, P_B^2, P_C^2\},$ experimentales resultado es B
3. $Context_3 \Rightarrow \{P_A^3, P_B^3, P_C^3\},$ experimentales resultado es Un
4. $Context_4 \Rightarrow \{P_A^4, P_B^4, P_C^4\},$ experimentales resultado es C

Estas probabilidades se calculan mediante alguna función $F:Context\rightarrow \{P_A, P_B, P_C\}$

Yo quiero estimar una confianza absoluta en la tasa de esta función. En otras palabras, quiero ser capaz de decir "podemos confiar en esta función en el 86%", como hacemos nosotros cuando nos ocupamos de Pearson chi-cuadrado.

Alguna sugerencia?

Answer 1

Tu función es realmente

PS

o en otras palabras, solo desea determinar la probabilidad de un resultado particular, condicional a un contexto determinado. La pregunta es, ¿cuáles son tus datos? ¿Conoces los diferentes contextos? ¿O solo dispone de los resultados?

De todos modos, ya que$$F: Context \mapsto \mathbb{P}(X|Context)$ $ creo que cualquier prueba que quieras diseñar para esta función se reducirá a la prueba de Chi cuadrado de todos modos.

Answer 2

Si sus predicciones son repetitivas creo que se puede hacer esto. Por ejemplo, si siempre predecir 50% de probabilidad de una elección, el 30% para el segundo y 20% para el tercero (incluso si se permutan en un juego particular) puede hacer un estándar de prueba de chi-cuadrado. Hizo usted en el hecho de conseguir el 50% a la derecha en el que usted reclama?

Si tus predicciones varían continuamente, usted todavía puede escoger la más alta probabilidad y calcular el número observado de veces que se encuentra a la derecha en comparación con la predicción y la varianza utilizando la varianza en cada predicción es p(1-p). A continuación, puede comparar con la hipótesis nula de 1/3, 1/3, 1/3

No estoy seguro de cómo entender la frase "podemos confiar en esta función en el 86%". Creo que la prueba de chi-cuadrado puede decir: "el 86% probablemente que mis predicciones son mejores que la hipótesis nula", pero eso no digo que las predicciones son correctas.