Cómo resolver máximo de estimaciones de probabilidad con restricción de desigualdad?

Question

Por ejemplo, supongamos $ r_i \sim \operatorname{Binomial} (n, p_i)$ donde $i \in [1,m]$. Suponga que $ r_i $ son independientes y también, poner una desigualdad, $ p_1 < p_2 < \cdots < p_m $.

Cómo encontrar el máximo de estimaciones de probabilidad de $ p_1, \ldots,p_m$ en ese entorno?

Sé que la probabilidad conjunta puede ser escrita como,

$$ \sum_{i=1}^m \big(r_{i} \log p_{i} + (n-r_{i})\log(1-p_{i})\big)+ \text{constant}.$$

Pero, ¿cómo puedo seguir obteniendo el MLE con la restricción?

Answer 1

Limitada de máxima verosimilitud es sólo una aplicación particular de optimización restringida de manera más general, y por lo que cae dentro del campo de la programación no lineal. Hay muchos métodos de resolución de problemas de optimización no lineal limitado por restricciones de desigualdad, incluyendo la Karush–Kuhn–Tucker método o simplemente transformar el problema en un sin restricciones.

Un ejemplo aplicable a su problema: En el presente caso, es posible transformar la limitación de vectores $\boldsymbol{p} = (p_1, \ldots, p_m)$ a partir de la simulación de vectores $\boldsymbol{u} = (u_1, \ldots, u_m) \in \mathbb{R}^m$. Hay un montón de maneras de hacer esto, pero es una manera de definir la transformación mediante anidadas funciones logísticas de la siguiente manera (el parámetro de $\alpha$ es un parámetro de control):

$$p_k = T_k(\boldsymbol{u}) \equiv \frac{1}{1 + \sum_{i=k}^m \exp(- \alpha u_i)} \quad \quad \text{for } k = 1,2,\ldots,m.$$

Esto produce una transformación de $T: \mathbb{R}^m \times \mathbb{R} \rightarrow \{ \boldsymbol{p} \in \mathbb{R}^m \mid 0 < p_1 < \cdots < p_m < 1 \}$, lo que significa que los mapas de la simulación del parámetro $\boldsymbol{u}$ a la limitación de parámetro $\boldsymbol{p}$. (Me han permitido, por un parámetro de control $\alpha$, que le permite ajustar la inclinación de la pendiente de las funciones logísticas; usted puede quitar esta parte mediante el establecimiento $\alpha = 1$ si lo desea.)

Re-parameterising su problema de optimización en el nuevo sin restricciones parámetro $\boldsymbol{u}$ los rendimientos de la función de verosimilitud logarítmica (que también incluye el control logístico del parámetro $\alpha$):

$$\ell_\boldsymbol{r}(\boldsymbol{u} \mid \alpha) = \sum_{k=1}^m \Big( (n_k-r_k) \log \Big( \sum_{i=k}^m \exp(- \alpha u_i) \Big) - n_k \log \Big(1 + \sum_{i=k}^m \exp(- \alpha u_i) \Big) \Big).$$

La máxima probabilidad del estimador $\hat{\boldsymbol{u}}$ puede ser obtenida mediante la maximización de esta función sobre las restricciones de espacio de $\boldsymbol{u} \in \mathbb{R}^m$, lo que requiere de métodos numéricos. Si este MLE existe, a continuación, obtener el correspondiente MLE para su deseada vector de parámetros como $\hat{\boldsymbol{p}} = T(\hat{\boldsymbol{u}}, \alpha)$.

Nota: En el problema de la desigualdad estricta restricciones significa que el MLE no existen para la mayoría de los vectores de datos. Si cambia estos no estrictas restricciones de desigualdad, a continuación, la limitación de MLE. En este caso, la transformación no se permiten valores de la igualdad entre los $p_k$ de los valores, pero se le permite entrar arbitrariamente cerca de este. Por lo tanto, el estándar de métodos numéricos para maximizar la anterior probabilidad todavía debe converger hacia el MLE.