Sé que, en virtud de la costumbre, la regularidad de las condiciones, el MLE converge a los verdaderos valores de los parámetros como el tamaño de la muestra se hace grande. Y la ampliación de la MLE tiende a ser distribuidos normalmente. Sin embargo, en un número de los casos reales, la búsqueda de la máxima global es difícil debido a la presencia de mínimos locales en la probabilidad. Intuitivamente, yo esperaría que el número y la profundidad de los mínimos locales se reducen como el tamaño de la muestra aumenta, lo que conduce a un unimodal probabilidad. Pero ¿es esto cierto? Se ha comprobado que es?
Respuesta
¿Demasiados anuncios?
farzad
Puntos
4180
Con respecto a "yo esperaría que el número y la profundidad de los mínimos locales se reducen como el tamaño de la muestra aumenta", esto no es cierto en general.
Por ejemplo, supongamos $X_1,\dots,X_n$ ser una muestra aleatoria de la $k$-componente de la mezcla $$ w_1\cdot\mathrm{N}(\mu_1,\sigma_1^2) + \dots + w_k\cdot\mathrm{N}(\mu_k,\sigma_k^2) \, , $$ en que $w_i\geq 0$$\sum_{i=1}^k w_i=1$. Definir $\theta_i=(w_i,\mu_i,\sigma_i^2)$$i=1\dots,k$, e $\theta=(\theta_1,\dots,\theta_k)$, y deje $x=(x_1,\dots,x_n)$. La función de probabilidad es $$ L_x(\theta) = \prod_{i=1}^n \sum_{j=1}^k w_j\cdot\frac{1}{\sqrt{2\pi}\sigma_j} e^{-(x_i-\mu_j)^2/2\sigma_j^2} \, . $$ Ya que para cualquier permutación $\tau:\{1,\dots,k\}\xrightarrow{\rm 1:1}\{1,\dots,k\}$ hemos $$ L_x(\theta_1,\dots,\theta_k) = L_x(\theta_{\tau(1)},\dots,\theta_{\tau(k)}) \, , $$ para este modelo, la probabilidad de que haya al menos $k!$ simétrica modos, no importa cuán grande sea el tamaño de la muestra $n$ es.
