Cómo derivar el algoritmo de Levenberg-Marquardt con cálculo matricial

Question

Según el artículo de la wikipedia: http://en.wikipedia.org/wiki/Levenberg_Marquardt

--

$S(\boldsymbol\beta+\boldsymbol\delta) \approx \|\mathbf{y} - \mathbf{f}(\boldsymbol\beta) - \mathbf{J}\boldsymbol\delta\|^2$

Tomando la derivada con respecto a y poniendo el resultado a cero se obtiene:

$(J^{T}J)\boldsymbol \delta = J^{T} [y - f(\boldsymbol \beta)])$

--

Mi intento de derivar la ecuación:

$\|\mathbf{y} - \mathbf{f}(\boldsymbol\beta) - \mathbf{J}\boldsymbol\delta\|^2 = (\mathbf{y} - \mathbf{f}(\boldsymbol\beta) - \mathbf{J}\boldsymbol\delta)^T(\mathbf{y} - \mathbf{f}(\boldsymbol\beta) - \mathbf{J}\boldsymbol\delta)$

utilizando la regla del producto:

$\frac{\partial \|\mathbf{y} - \mathbf{f}(\boldsymbol\beta) - \mathbf{J}\boldsymbol\delta\|^2}{\partial \boldsymbol\delta} = (-J^{T})(\mathbf{y} - \mathbf{f}(\boldsymbol\beta) - \mathbf{J}\boldsymbol\delta) + (\mathbf{y} - \mathbf{f}(\boldsymbol\beta) - \mathbf{J}\boldsymbol\delta)^T(-J)$

Las dimensiones del lado izquierdo y derecho no coinciden. Creo que puede haber algún problema con mi diferenciación. Parece que falta una transposición, pero no estoy seguro de lo que podría causar una transposición en la operación de diferenciación.

Answer 1

Hice esto artículo tutorial sobre los métodos de mínimos cuadrados lineales y no lineales. Explica el problema en términos matriciales y vectoriales y he intentado que sea fácil de aprender.