¿Cuál es el modelo de identificabilidad?

Question

Sé que con un modelo que no es de identificación personal de los datos se puede decir que ser generado por varias tareas diferentes para los parámetros del modelo. Yo sé que a veces es posible restringir los parámetros de modo que todos son de identificación personal, como en el ejemplo de Cassella & Berger 2ª ed, en la sección 11.2.

Dado un modelo en particular, ¿cómo puedo evaluar si es o no es de identificación personal?

Answer 1

Para identificabilidad estamos hablando de un parámetro $\theta$ (que podría ser un vector), que abarca más de un espacio en el parámetro $\Theta$, y una familia de distribuciones (por simplicidad, creo Pdf) indexados por $\theta$ que nos suelen escribir algo como $\{ f_{\theta}|\, \theta \en \Theta\}$. Por ejemplo, $\theta$ podría $\theta = \beta$ y $f$ podría ser

$$ f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0, $$ lo que significaría que $\Theta = (0,\infty)$. En orden para que el modelo sea de identificación personal, la transformación, el cual se asigna $\theta$ $f_{\theta}$ debe ser uno-a-uno. Dado un modelo en su regazo, la forma más sencilla de comprobar esto es comenzar con la ecuación $f_{\theta_{1}} = f_{\theta_{2}}$, (esta igualdad debe mantener para (casi) todo $x$ en la de apoyo) y tratar de usar el álgebra (o algún otro argumento) para demostrar que una ecuación implica que, de hecho, $\theta_{1} = \theta_{2}$.

Si usted tiene éxito con este plan, entonces el modelo es identificable; seguir con su negocio. Si no, entonces el modelo no es de identificación personal, o que usted necesita para encontrar otro argumento. La intuición es la misma, independientemente: en un modelo de identificación personal es imposible que dos parámetros distintos (que podría ser vectores) para dar lugar a la misma función de probabilidad.

Esto tiene sentido, porque si, para datos fijos, los dos únicos parámetros que dio origen a la misma probabilidad, entonces sería imposible distinguir entre los dos candidatos parámetros que se basan en los datos. Sería imposible identificar el verdadero parámetro, en ese caso.

Para el ejemplo anterior, la ecuación $f_{\theta_{1}} = f_{\theta_{2}}$ es $$ \frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}}, $$ para (casi) todo $x > 0$. Si tomamos logaritmos de ambos lados obtenemos $$ -\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}} $$ por $x > 0$, lo que implica la función lineal $$ -\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2}) $$ es casi idéntica a cero. La única línea que hace tal cosa es la que tiene pendiente 0 y el intercepto cero. Espero que usted puede ver el resto.

Por cierto, si se puede decir mirando a su modelo que no es de identificación personal (a veces se puede), entonces es común a introducir restricciones adicionales para que se de identificación personal (como se mencionó). Esto es similar a reconocer que la función $f(y) = y^{2}$ no es uno-a-uno para $y$ en $[-1,1]$, pero es uno-a-uno, si restringimos $y$ a se encuentran dentro del $[0,1]$. En el más complicado de los modelos de las ecuaciones son más duras, pero la idea es la misma.

Answer 2

Es una forma de inspeccionar la matriz de covarianza, $\Sigma$, de sus estimaciones de los parámetros. Si dos estimaciones de los parámetros son perfectamente (aproximadamente) correlacionados unos con otros, o una estimación del parámetro es (aproximadamente) combinación lineal de varios otros, entonces el modelo no identificado; los parámetros que son funciones de los demás no son necesarios. En cada uno de estos casos, $\Sigma$ también será (aproximadamente) singular. Por lo tanto, si $\Sigma$ es de aproximadamente singular, esto puede darle una razón para estar preocupado acerca de los problemas de identificabilidad. (Aunque no creo que este sería detectar las relaciones no lineales entre las estimaciones de los parámetros que daría lugar a la no-identidad).

El problema práctico es que a menudo es difícil calcular $\Sigma$ para, aunque sea levemente modelos complicados.

Si usted está haciendo una máxima verosimilitud problema, entonces usted sabe que la matriz de covarianza asintótica de sus estimaciones es igual a la inversa de fisher de la información que se evalúa en la MLE. Así, la comprobación de la matriz de información de fisher para (aproximado) de la singularidad es también una manera razonable de la evaluación de identificabilidad. Esto también funciona cuando el teórico fisher información es difícil de calcular debido a que a menudo es posible de forma muy precisa numéricamente aproximado de un estimador consistente de la matriz de información de fisher, por ejemplo, la estimación de la espera exterior producto de la puntuación en función de la media observada exterior del producto.

En que no están haciendo un ML problema, entonces usted puede ser capaz de conseguir una manija en $\Sigma$ simulando el modelo de datos y la estimación de los parámetros de un gran número de veces y el cálculo de un ejemplo de una matriz de covarianza.