Estimación de parámetros con modelos lineales generalizados

Question

De forma predeterminada cuando se utiliza un glm función en R, se usa la forma iterativa reponderadas de mínimos cuadrados (IWLS) método para encontrar el máximo de la estimación de la probabilidad de los parámetros. Ahora tengo dos preguntas.

1. ¿IWLS estimaciones de garantizar el máximo global de la función de probabilidad? Basado en la última diapositiva en esta presentación, creo que no! Yo sólo quería asegurarse de que.
2. Podemos decir que la razón de la pregunta 1 es debido al hecho de que casi todos los métodos de optimización numérica puede atascado en un máximo local en lugar de un máximo global?

Answer 1

Cuando usted está tratando de estimar los parámetros, siempre se quiere que haya una solución de forma cerrada. Sin embargo, no siempre existe (supongo que es posible que en algunos casos puede ser uno, pero es desconocido en la actualidad). Cuando una forma cerrada solución no existe, alguna heurística de la estrategia debe ser empleado para la búsqueda sobre el espacio de parámetros de la mejor manera posible las estimaciones de los parámetros a utilizar. Hay muchas estrategias de búsqueda (por ejemplo, en R, ?optim listas de 6 de propósito general de los métodos). El IRWLS es una versión simplificada de la de Newton-Raphson algoritmo.

Por desgracia, la respuesta a tu [1] es que no heurística de la estrategia de búsqueda es la garantía de encontrar el mínimo global (máximo). Hay tres razones por las que es el caso de:

1. Como se señaló en la diapositiva 9 de su presentación vinculada, no hay una única solución que puede existir. Ejemplos de esto podrían ser perfecta multicolinealidad, o cuando hay más parámetros a ser estimados de los que hay datos.
2. Como se señaló en la diapositiva 10 (que la presentación es bastante buena, creo), la solución puede ser infinito. Esto puede suceder en la regresión logística, por ejemplo, cuando tiene usted una perfecta separación.

3. También puede darse el caso de que hay un número finito de global mínimo (máximo), pero que el algoritmo no lo encuentra. Estos algoritmos (especialmente IRWLS y N-R) tienden a iniciar desde una ubicación especificada y 'mirar a su alrededor para ver si se mueve en alguna dirección que constituye la 'cuesta abajo' (es decir, mejorar el ajuste). Si es así, no va a volver a colocar a cierta distancia en esa dirección, y repetir hasta que la adivinado / predijo la mejora es menor que un cierto umbral. Por lo tanto, no puede haber dos maneras de no alcanzar el mínimo global:

   1. La tasa de descenso de la ubicación actual hacia el mínimo global (máximo) es demasiado superficial para cruzar el umbral y el algoritmo se detiene cerca de la solución.
   2. Hay un mínimo local (máximo) entre la ubicación actual y el mínimo global (máximo), por lo que aparece en el algoritmo que más movimiento podría llevar a un peor ajuste.

Con respecto a su [2], ser consciente de que las diferentes estrategias de búsqueda tienen diferentes tendencias a ser atrapados en mínimos locales. Incluso la misma estrategia puede ser a veces adaptado, o comenzó a partir de un punto de partida diferente a la dirección de los dos últimos problemas.

Answer 2

Estás en lo correcto de que, en general, IWLS, al igual que otros métodos de optimización numérica, sólo puede garantizar la convergencia a un máximo local, si es que convergen. He aquí un buen ejemplo en el que el valor inicial es de fuera de la convergencia de dominio para el algoritmo utilizado por glm() en R. sin Embargo, vale la pena señalar que para GLMs con el enlace canónico, la probabilidad es cóncava, ver aquí. Por lo tanto, si el algoritmo converge, se han convergido para el modo global!

La última cuestión planteada en la diapositiva es un problema donde el MLE para un parámetro está en el infinito. Esto puede ocurrir en la regresión logística en el que existe una separación completa. En tal caso, usted recibirá un mensaje de advertencia que el amueblada probabilidades son numéricamente de 0 o 1. Es importante tener en cuenta que cuando esto ocurre, el algoritmo no ha convergido a la modalidad, por lo que este no tiene que ver con el algoritmo de estar atrapado en un máximo local.