Evaluación de la calidad de las distribuciones previstas

Question

Tengo un conjunto de puntos de datos $X_i, y_i$ donde $x$ son las variables independientes y creo que cada $y_i$ pueden modelarse como extraídas de una distribución exponencial con parámetros $\lambda_i$ .

Si utilizo $X_i$ para predecir $\lambda_i$ ¿Cómo puedo evaluar la calidad de mis predicciones con respecto a las observaciones? $y_i$ ?

Edición: Esta es esencialmente la misma pregunta que ¿Cómo evaluar la calidad del estimador de probabilidad para los experimentos Bernoulli? pero en un contexto continuo y no en un contexto binomial. No me resulta obvio qué utilizar en este caso en lugar de la entropía cruzada.

Answer 1

El enfoque estándar para esto es utilizar la log-verosimilitud de la distribución exponencial. En realidad, así es exactamente como se obtiene la entropía cruzada, es la log-verosimilitud de la distribución Bernoulli.

En el caso de una distribución exponencial, la pdf es:

$$ f(y; \lambda) = \lambda e^{-\lambda y} $$

Así que la probabilidad logarítmica es:

$$ LL(\lambda_i; y_i ) = \log(f(y_i; \lambda_i)) = \log(\lambda_i) - \lambda_i y_i$$

Por lo tanto, si $y_i$ son sus verdaderos valores, y $\lambda_i$ son sus predicciones, un modelo exponencial minimizaría:

$$ LL(\{\lambda_i\}; \{y_i\}) = \sum_i \log(\lambda_i) -\lambda_i y_i$$

El ajuste de los modelos mediante la maximización de la log-verosimilitud de este modo conduce a la teoría de los modelos lineales generalizados; el modelo exponencial es un caso especial.

Answer 2

La forma estándar de evaluar las distribuciones predictivas es a través de reglas de puntuación . La probabilidad logarítmica de que Matthew Drury recomienda es un ejemplo, es el regla de puntuación logarítmica . También hay otros. Merkle y Steyvers (2013, Análisis de decisiones ) discutir cómo se combinan las diferentes reglas de puntuación y cómo elegir una.

Más información en la etiqueta wiki y tenemos una serie de preguntas que llevan el reglas de puntuación etiqueta.