La Log-verosimilitud multivariante de distribución de Poisson

Question

Estoy teniendo dificultades para obtener el gradiente de la log-verosimilitud de un multivariante distribución de Poisson. He aquí cómo la tengo de instalación:

1. Un conjunto finito finito-dimensional vectores $T$ con elementos $\mathbf{t}$
2. $d$ funciones $\left\{f_1,f_2,\dotsc,f_d\right\}$ con soporte compacto.
3. El parámetro de la multivariante de Poisson es dado por $\lambda_{\mathbf{t}}\left(\boldsymbol{\theta}\right) = \sum_{k=1}^{d}\theta_k f_k\left(\mathbf{t}\right)$.
4. Un ejemplo de esta distribución se parece a esto: $y_\mathbf{t}\sim\textrm{ Poisson}\left(\exp\left(\lambda_{\mathbf{t}}\left(\boldsymbol{\theta}\right)\right)\right)$
5. Multivariante de la probabilidad de Poisson función: $$L\left(\boldsymbol\theta\right)=\prod_{\mathbf{t}\in T}\frac{\exp\left(-\lambda_{\mathbf{t}}\left(\boldsymbol{\theta}\right)\right)\left(\lambda_{\mathbf{t}}\left(\boldsymbol{\theta}\right)\right)^{y_\mathbf{t}}}{y_\mathbf{t}!}$$

Aquí es donde me encuentro: \begin{align*} l\left(\boldsymbol\theta\right)&=\sum_{\mathbf{t}\in T}\log\frac{\exp\left(-\lambda_{\mathbf{t}}\left(\boldsymbol{\theta}\right)\right)\left(\lambda_{\mathbf{t}}\left(\boldsymbol\theta\right)\right)^{y_{\mathbf{t}}}}{y_{\mathbf{t}}!}\\ &\ldots\textrm{ a little bit of algebra later }\\\ &=\sum_{\mathbf{t}\in T}\left(-\lambda_\mathbf{t}\left(\boldsymbol\theta\right) + y_\mathbf{t}\log\left(\lambda_\mathbf{t}\left(\boldsymbol\theta\right)\right)\right)-\log\left(y_\mathbf{t}!\right) \end{align*}

¿Cuál es el siguiente paso a dar en términos de los derivados? No estoy seguro de cómo tomar derivados con respecto a $\boldsymbol\theta$ (es decir, ¿cuál es el tipo resultante de $\frac{\mathrm{d}}{\mathrm{d}\,\boldsymbol\theta}\left(-\lambda_\mathbf{t}\left(\boldsymbol\theta\right)\right)$; es una matriz, un vector, etc.). Se agradecería que las respuestas de las personas dio como un poco de distancia sobre el problema de lo posible, me gustaría ser capaz de terminar derivando la ecuación de mí mismo; sólo necesito un pequeño empujón en la dirección correcta. Muy apreciada!

Answer 1

Así, el $\log( y_{\bf t}!)$ términos no implican ${\boldsymbol \theta}$, así que olvídate de ellos. Multivariante derivados son sólo concatenaciones de univariante derivadas parciales. Por la linealidad, los elementos del vector gradiente son

$$ \frac{ \partial \ell( {\boldsymbol \theta} )}{ \parcial \theta_{i}} = \sum_{ {\bf t} \in \mathcal{T} } \frac{ -\partial \lambda_{{\bf t}}({\boldsymbol \theta})}{ \parcial \theta_{i}} + y_{{\bf t}} \cdot \frac{ \partial \log (\lambda_{{\bf t}}({\boldsymbol \theta})) }{ \parcial \theta_{i}} $$

Dada por su expresión de $\lambda_{{\bf t}}({\boldsymbol \theta})$,

$$\frac{ \partial \lambda_{{\bf t}}({\boldsymbol \theta})}{ \parcial \theta_{i}} = f_{i}( {\bf t}), $$

puesto que usted está a solo diferenciación de una función lineal de la $\theta_{i}$. Desde básico de una sola variable cálculo sabemos que

$$ \frac{ \partial \log(f(x)) }{\partial x} = \frac{1}{f(x)} \cdot \frac{ \partial f(x) }{\partial x}$$

Así,

$$ \frac{\partial \log (\lambda_{{\bf t}}({\boldsymbol \theta})) }{ \parcial \theta_{i}} = \frac{ f_{i}( {\bf t}) }{\sum_{k=1}^{d}\theta_k f_k\left(\mathbf{t}\right)} $$

Conecte estas piezas de nuevo en la primera ecuación anterior para obtener la puntuación de la función.