Encontrar el MLE de un GLM

Question

(Nota: no se trata de una tarea, sino de la revisión de un tema de los exámenes de Cambridge anteriores) He intentado responder a la siguiente pregunta y tengo problemas con la parte (b).

Para (a) es obvio que el pmf es el mismo que el Bernoulli y así

$$ f(y;p) = \exp\left(y\log\left(\frac{p}{1-p}\right)+\log(1-p) \right).$$

Entonces para (b) la probabilidad logarítmica viene dada por $$\ell(\beta,y) = \sum_{i=1}^n \left(y_i\log\left(\frac{p_i}{1-p_i}\right)+\log(1-p_i) \right)$$

Ahora, $\log(\frac{p}{1-p}) = \beta^Tx \Rightarrow \log(1-p) = \log(p) - \beta^Tx$

Y así,

\begin{align} \ell(\beta,y) &= \sum_{i=1}^n y_i\beta^Tx_i + \sum_{i=1}^n \log(p) - \sum_{i=1}^n \beta^Tx_i\\ &= \sum_{i=1}^n y_i\beta^Tx_i + \sum_{i=1}^n \log\left(\frac{e^{\beta^Tx}}{1+e^{\beta^Tx}}\right) - \sum_{i=1}^n \beta^Tx_i \end{align}

Y no estoy seguro de cómo tratar este término medio, sobre todo al diferenciar, ya que no puedo obtener la respuesta final.

Answer 1

Denote $ = (_1, \cdots, _p)^{\mathrm{T}}$ y $x_i = (x_{i1}, \cdots, x_{ip})^{\mathrm{T}}$ entonces $^{\mathrm{T}} x_i = \sum\limits_{j = 1}^p _j x_{ij}$ . Desde $\displaystyle p_i() = \frac{\mathrm{e}^{^{\mathrm{T}} x_i}}{1 + \mathrm{e}^{^{\mathrm{T}} x_i}}$ , \begin{align*} L(; y) &= \sum_{i = 1}^n \left(y_i \ln\left(\frac{p_i()}{1 - p_i()}\right) + \ln(1 - p_i())\right)\\ &= \sum_{i = 1}^n \left(y_i ^{\mathrm{T}} x_i + \ln\left(\frac{1}{1 + \mathrm{e}^{^{\mathrm{T}} x_i}}\right)\right) = \sum_{i = 1}^n (y_i ^{\mathrm{T}} x_i - \ln(1 + \mathrm{e}^{^{\mathrm{T}} x_i}))\\ &= \sum_{i = 1}^n y_i \sum_{j = 1}^p _j x_{ij} - \sum_{i = 1}^n \ln\left(1 + \exp\left(\sum_{j = 1}^p _j x_{ij}\right)\right). \end{align*} Para cada $1 \leqslant k \leqslant p$ , $$ \frac{\partial L}{\partial _k}(; y) = \sum_{i = 1}^n y_i x_{ik} - \sum_{i = 1}^n \frac{\exp\left(\sum\limits_{j = 1}^p _j x_{ij}\right)}{1 + \exp\left(\sum\limits_{j = 1}^p _j x_{ij}\right)} \cdot x_{ik} = \sum_{i = 1}^n y_i x_{ik} - \sum_{i = 1}^n p_i() x_{ik}. $$ Tenga en cuenta que $\displaystyle \frac{\partial L}{\partial _k}(\hat{}; y) = 0 \ (1 \leqslant k \leqslant p)$ Por lo tanto \begin{align*} 0 &= \sum_{k = 1}^p \hat{}_k \frac{\partial L}{\partial _k}(\hat{}; y) = \sum_{k = 1}^p \hat{}_k \left(\sum_{i = 1}^n y_i x_{ik} - \sum_{i = 1}^n p_i(\hat{}) x_{ik}\right)\\ &= \sum_{i = 1}^n y_i \sum_{k = 1}^p \hat{}_k x_{ik} - \sum_{i = 1}^n p_i(\hat{}) \sum_{k = 1}^p \hat{}_k x_{ik} = \sum_{i = 1}^n y_i \hat{}^{\mathrm{T}} x_i - \sum_{i = 1}^n p_i(\hat{}) \hat{}^{\mathrm{T}} x_i\\ &= \sum_{i = 1}^n y_i \mathop{\mathrm{logit}}(p_i(\hat{})) - \sum_{i = 1}^n p_i(\hat{}) \mathop{\mathrm{logit}}(p_i(\hat{})), \end{align*} lo que implica $$ \sum_{i = 1}^n p_i(\hat{}) \mathop{\mathrm{logit}}(p_i(\hat{})) = \sum_{i = 1}^n y_i \mathop{\mathrm{logit}}(p_i(\hat{})). $$