Distribución gaussiana y métodos de mínimos cuadrados

Question

Notación gaussiana

$$N(x|\mu,\sigma) = 1/(2\pi \sigma^2)^(1/2) \exp{ (-1/2\sigma^2)(x-\mu)^2} $$

$$p(x|\mu,\sigma) = \prod N(x_n | \mu , \sigma^2)$$

Cuando se toma un $$ln$$ en ambos lados

$$ln(x|\mu,\sigma) = -1/2\sigma^2 \sum(x_n-\mu)^2 - N/2(ln\sigma^2) - N/2ln(2\pi)$$

Estoy confundido con la forma en que

$$N/2(ln\sigma^2) - N/2ln(2\pi)$$ derivados.

y al tomar la diferencial parcial mu y sigma serán

$$\mu = 1/N \sum X_n$$

$$\sigma^2 = 1/N \sum (x_n - \mu)2$$

¿puede mostrarme cómo obtienen esto?

Answer 1

Tu notación no es buena al definir la distribución normal y el número de muestras.

$$ \prod_{i=0}^{n}\mathcal{N}(x_i|\mu,\sigma^2) = \prod_{i=0}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}\mathrm{e}^{-\frac{(x-\mu)^2}{2\sigma^2}} $$ podemos distribuir el producto $$ \prod_{i=0}^{n} a_i b_i = \prod_{i=0}^{n}a_i\prod_{i=0}^{n}b_i $$ también tenemos $$ \prod_{i=0}^{n}a = a^n $$ y finalmente $$ \prod_{i=0}^{n}\mathrm{e}^{x_i} = \mathrm{e}^{\sum_{i=0}^nx_i} $$ así que vamos a ver su problema

$$ \prod_{i=0}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}\mathrm{e}^{-\frac{(x-\mu)^2}{2\sigma^2}} = \prod_{i=0}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}\prod_{i=0}^{n}\mathrm{e}^{-\frac{(x-\mu)^2}{2\sigma^2}} $$ $$ a = \frac{1}{\sqrt{2\pi\sigma^2}}\\ b_i = \mathrm{e}^{-\frac{(x-\mu)^2}{2\sigma^2}} $$ $$ \prod_{i=0}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}= \left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n = (2\pi\sigma^2)^{-n/2} $$ y el exponencial $$ \prod_{i=0}^{n}\mathrm{e}^{-\frac{(x-\mu)^2}{2\sigma^2}} =\mathrm{e}^{-\sum_{i=0}^n\frac{(x_i-\mu)^2}{2\sigma^2}} $$ ponerlo todo junto $$ \prod_{i=0}^{n}\mathcal{N}(x_i|\mu,\sigma^2) = (2\pi\sigma^2)^{-n/2}\cdot \mathrm{e}^{-\sum_{i=0}^n\frac{(x_i-\mu)^2}{2\sigma^2}} $$ tomando los registros como habitualmente $\ln (ab) = \ln a +\ln b$ y $\ln a^n = n\ln a$ tenemos $$ \ln \left(\prod_{i=0}^{n}\mathcal{N}(x_i|\mu,\sigma^2) \right) = \ln\left((2\pi\sigma^2)^{-n/2}\cdot \mathrm{e}^{-\sum_{i=0}^n\frac{(x_i-\mu)^2}{2\sigma^2}}\right) = -\frac{n}{2}\ln(2\pi\sigma^2) - \sum_{i=0}^n\frac{(x_i-\mu)^2}{2\sigma^2} $$ ahora puedes distribuir el logaritmo del primer término en el lado derecho.

Para calcular las derivadas según el método MLE

tenemos $$ \mathcal{L} = \ln \left(\prod_{i=0}^{n}\mathcal{N}(x_i|\mu,\sigma^2) \right) $$ tomando la derivada con respecto a $\sigma$ y $\mu$ y ponerlo a 0. $$ \dfrac{\partial \mathcal{L}}{\partial \mu} = - \dfrac{\partial}{\partial \mu}\sum_{i=0}^n\frac{(x_i-\mu)^2}{2\sigma^2}= -\frac{1}{\sigma^2}\sum_{i=0}^n-1\cdot(x_i-\mu) $$ por lo que para obtener el mínimo requerimos que el numerador sea idénticamente cero. Así, $$ \sum_{i=0}^n(x_i-\mu)=0 $$ ahora reordenar para obtener la expresión requerida. Haciendo lo mismo con $\sigma$ calculamos $$ \dfrac{\partial \mathcal{L}}{\partial \sigma} = \dfrac{\partial }{\partial \sigma} -\frac{n}{2}\ln(2\pi\sigma^2) - \sum_{i=0}^n\frac{(x_i-\mu)^2}{2\sigma^2} = -\frac{n}{2}\frac{2\pi \cdot 2\sigma}{2\pi \sigma^2}- \sum_{i=0}^n(x_i-\mu)^2\frac{-2\sigma}{\sigma^3} $$ puesta a cero $$ -\frac{n}{2}\frac{2\pi \cdot 2\sigma}{2\pi \sigma^2}- \sum_{i=0}^n(x_i-\mu)^2\frac{-2\sigma}{2\sigma^3} = -\frac{n}{\sigma}+\frac{1}{\sigma^2}\sum_{i=0}^n(x_i-\mu)^2 $$ así que le dejaré a usted que reordene $$ -\frac{n}{\sigma}+\frac{1}{\sigma^2}\sum_{i=0}^n(x_i-\mu)^2 = 0 $$