¿Relación entre la regla de puntuación y pérdida de función de selección de modelo y estimación de parámetros?

Question

Inicialmente, sólo había oído hablar de la MLE y la uso para casi todo, por ejemplo, del punto de estimación y selección de modelos (con algo de pena).

Entonces, MSE apareció, que parece jugar el mismo papel de la MLE. Me enteré de que tanto el MSE y el MLE son los resultados de pérdida de las funciones (vs entropía cuadrática). Elegir cuál utilizar depende de la creencia.

Ahora, me llegó a través de la materia llamada regla de puntuación. Hay nuevos términos como Logarítmica de la función de puntuación y Brier función de puntuación. Sin embargo, creo que son sólo otro de los nombres de MLE y MSE metodología. Minimizar Brier es esencialmente minimizar el MSE, y Maximizar Logarítmica es exactamente el mismo que el MLE.

Estoy aquí? ¿Por qué tenemos diferentes nombres para lo mismo exacta entre la regla de puntuación y la pérdida de la función?

Answer 1

Todos estos términos son jerárquicamente anidada. De Adrian E. Raftery y Tilmann Gneiting, "Estrictamente Correcto Reglas de Puntuación, la Predicción y Estimación" Nov. 2005:

En la estimación de los problemas, estrictamente correcto reglas de puntuación ofrecen atractivos de la pérdida y de las funciones de utilidad, que puede ser adaptado a un problema científico. Para fijar la idea, supongamos que queremos ajustar un modelo paramétrico $P_\theta $ basado en una muestra de $X_1,...,X_n$. Para estimar el $\theta$, podríamos medir la bondad de ajuste mediante el promedio de las puntuaciones $$\mathcal{S}_n(\theta)=\frac{1}{n}\sum_{i=1}^{n}S(P_\theta,X_i),$$ where $S$ is a strictly proper scoring rule. If $\theta_0$ denotes the true parameter, asymptotic arguments indicate that $\text{arg max}_\theta\mathcal{S}_n(\theta)\to\theta_0$ as $n\to\infty$. This suggests a general approach to estimation: choose a strictly proper scoring rule that is tailored to the scientific problem at hand, maximize $\mathcal{S}_n(\theta)$ over the parameter space, and take $\hat{\theta}_n=\text{arg max}_\theta\mathcal{S}_n(\theta)$ as the optimum score estimatior based on the scoring rule $S$... Maximum likelihood estimation forms a special case of optimum score estimation, and optimum score estimation forms a special case of $M$-estimación, en que la función a ser optimizada deriva de una estrictamente correcto regla de puntuación.

Así que podemos ver que en general, tenemos un mecanismo muy flexible para la estimación de la $\hat{\theta}$ por medio de la elección de $S$ y que el MLE es sólo uno particularmente bien estudiado regla de puntuación dentro de este marco.