¿Estimación de probabilidad máxima con un "parámetro dependiente"?

Question

Supongamos que tenemos una función de probabilidad

$$L(\theta | X) = f(X; \alpha, \beta, \gamma(\beta))$$

Así que el tercer parámetro, $\gamma$, depende de $\beta$ de tal manera que no pueden ser separados. Por ejemplo, supongamos que

$$\gamma (\beta) = \int_0^1 g(s) e^{\beta s} ds$$

para algunos desconocida función de $g(s)$. Ya no se puede estimar razonablemente $g(s)$, que en lugar de deseo de reemplazar la integral con un solo parámetro a estimar. Desafortunadamente, debido a la integral de la dependencia en $\beta$, no podemos obtener el máximo de estimaciones de probabilidad.

Tengo dos preguntas:

1. ¿Hay algún conocido procedimiento para superar una situación como esta?

2. ¿Qué pasaría si sólo "ignorar" $\gamma$'s la dependencia de $\beta$? Así que nosotros, en lugar de considerar la función

$$f(X; \alpha, \beta, \gamma)$$

y a obtener el máximo de estimaciones de probabilidad de que? Podría todavía ser coherente? Puede algo "bueno" se dijo acerca de esta situación?

Answer 1

De acuerdo con la estimación de máxima verosimilitud, deben formular el problema de tal manera que hay una clara rango de valores permitidos para los parámetros desconocidos. En el problema que usted necesita para formular un rango admisible de valores para el parámetro de $\gamma$ para cada posible valor del parámetro dependiente $\beta$. Para hacer esto usted tendrá que considerar lo que es el rango permitido de funciones $g$.

Por ejemplo, supongamos que usted tiene cierta función independiente de $g \in \mathcal{G}$ donde el rango de esta función no depende de los parámetros en el problema. A continuación, puede definir $\mathcal{Y} (\beta) \equiv \{ \gamma(\beta) | g \in \mathcal{G} \}$ para cada valor permisible de $\beta$ y tiene el parcialmente-maximiza la probabilidad de:

$$\bar{L}(\alpha, \beta) \equiv \max_{g \in \mathcal{G}} L(\alpha, \beta, g) = \max_{\gamma \in \mathcal{Y}(\beta)} L(\alpha, \beta, \gamma).$$

Esto nos dice que la maximización de la función de probabilidad sobre el conjunto de posibles funciones de $g$ es lo mismo que maximizar sobre el conjunto correspondiente de los parámetros de $\gamma$. Este último requiere especificar el rango de $\gamma$, y el parcialmente-maximiza la probabilidad dependerá, entonces, de $\beta$ a través de su presencia directa en la probabilidad de la función, y también a través de su efecto en el rango permitido de $\gamma$.

---

En su problema, no ha sido claro sobre el rango de temperatura de funciones $g$ (estoy asumiendo que esto es algo real de la función). Si usted no imponer ninguna restricción en esto, usted tendrá $\mathcal{Y} (\beta) = \mathbb{R}$ todos los $\beta$, lo que da $\bar{L}(\alpha, \beta) = \max_{\gamma \in \mathbb{R}} L(\alpha, \beta, \gamma)$. En este caso, no hay ningún problema de dependencia paramétrica y así que esta es una corriente de máxima verosimilitud problema.

Answer 2

Parte 1

Puede que el modelo de $g(s)$ como un polinomio? Si es así, creo que se podría recurrir $\gamma(\beta)$ en forma cerrada expresión por analíticamente calcular la integral. En general, si usted puede encontrar algunos aproximación de $g(s)$ que hace que la integral analíticamente la solución, entonces estás de vuelta ordinaria de máxima verosimilitud (sin $\gamma$ a todos).

Digamos que usted no sabe mucho acerca de g(s). Pero usted debe saber algo! Así que poner una Gaussiana Proceso previo con la media de la función F(s). El uso de una herramienta como stan, muestra la función durante un MCMC dibujar y realizar la integración numérica dentro del bucle. Usted me puede ver tratando de que este aquí (ver la línea 96). Ahora es lento, pero es una manera de estimar y de incorporar la incertidumbre en $g(s)$.

Si usted tiene un complejo no lineal de la expresión de $g(s)$, pero no quieren ir a la bayesiana de la ruta, se puede incorporar algo así como la regla trapezoidal en su máxima probabilidad de rutina, pero será demasiado lento!

Parte 2

En orden a hablar incluso de la dependencia entre los parámetros, usted tiene que adoptar un punto de vista bayesiano, desde el clásico punto de vista de todos los parámetros que fija una cantidad desconocida. Si usted toma la interpretación clásica, entonces yo pienso que está bien sólo la estimación de $\gamma$ como una constante. De hecho, ¿por qué no utilizar las estimaciones de $\beta$ $\gamma$ a profundizar en $g(s)$?