¿Requiere datos i.i.d. MLE? ¿O parámetros a independiente?

Question

La estimación de parámetros a partir de la estimación de máxima verosimilitud (MLE) consiste en evaluar la probabilidad de la función, que se asigna la probabilidad de la muestra (X) que se produce para valores de (x) en el espacio de parámetros (θ) dada una distribución de la familia (P(X=x|θ) sobre los valores posibles de θ (nota: estoy en lo cierto en esto?). Todos los ejemplos que he visto implican el cálculo de P(X=x|θ) por tomar el producto de F(X), donde F es la distribución con el valor local para θ y X es la muestra (un vector).

Ya estamos simplemente multiplicar los datos, no se sigue que los datos sean independientes? E. g. no hemos podido utilizar el MLE para el ajuste de series de tiempo de datos? O los parámetros sólo tiene que ser independiente?

Answer 1

(+1) Muy buena pregunta.

Cosa de menor importancia, MLE representa la máxima probabilidad de estimación (no varios), lo que significa que usted acaba de maximizar la probabilidad. Esto no se especifica que la probabilidad tiene que ser producido por el IID de muestreo.

Si la dependencia de la muestra puede ser escrito en el modelo estadístico, que acaba de escribir la probabilidad en consecuencia y maximizar como de costumbre.

El único caso en el que vale la pena mencionar cuando usted no asumir la dependencia es que de la multivariante de Gauss de muestreo (en el análisis de series de tiempo, por ejemplo). La dependencia entre dos Gaussiano variables pueden ser modelados por su covarianza plazo, que incoroporate en la probabilidad.

Para dar un ejemplo sencillo, supongamos que se extrae una muestra de tamaño $2$ de correlación de Gauss variables con la misma media y varianza. Habría que escribir la probabilidad como

$$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$$

donde $z$ es

$$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$$

Este no es el producto de la individual de las probabilidades. Todavía, usted maximizar esta con los parámetros de $(\mu, \sigma, \rho)$ para obtener su MLE.

Answer 2

Por supuesto, Gauss ARMA modelos poseen una probabilidad, como su covarianza función puede ser derivada de forma explícita. Esto es básicamente una extensión de gui11ame la respuesta de más de 2 observaciones. Mínima de googlear produce papeles como este donde la probabilidad está dada en la forma general.

Otro, en una medida que, más intrigante, la clase de los ejemplos está dada por multinivel modelos de efectos aleatorios. Si usted tiene los datos del formulario $$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$$ donde los índices de $j$ están anidadas en $i$ (creo que de los estudiantes $j$ en las aulas $i$, digamos, para un clásico de la aplicación de los modelos multinivel), entonces, asumiendo $\epsilon_{ij} \perp u_i$, la probabilidad es $$ \ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i) $$ y es una suma de la probabilidad de contribuciones definidas a nivel de grupos, no de observaciones individuales. (Por supuesto, en el caso Gaussiano, puede empujar las integrales alrededor de producir un análisis ANOVA-como solución. Sin embargo, si usted tiene por ejemplo un modelo logit para su respuesta $y_{ij}$, entonces no hay manera de salir de integración numérica.)