Estoy estudiando el uso del método del punto interior para optimizar una función convexa. La función convexa es básicamente la log-verosimilitud de un modelo de regresión logística binaria. ¿Puedo utilizar esta técnica?
En general, ¿hay algo que impida aplicar una técnica de optimización restringida a un problema no restringido? Por lo que pienso, un problema no restringido no es más que un problema restringido sin las restricciones y, por tanto, debería poder resolverse con estas técnicas.
En mi opinión, la optimización con restricciones es una forma poco óptima de evitar fuertes fluctuaciones en los parámetros de los independientes debido a una mala especificación del modelo. A menudo se "necesita" una restricción cuando la matriz de varianza-covarianza está mal estructurada, cuando hay mucha correlación (no contabilizada) entre independientes, cuando hay aliasing o casi aliasing en los conjuntos de datos, cuando se han dado demasiados grados de libertad al modelo, etc. Básicamente, todas las condiciones que inflan la varianza de las estimaciones de los parámetros harán que un método sin restricciones se comporte mal.
Puedes mirar la optimización restringida, pero creo que primero deberías echar un vistazo a tu modelo si crees que la optimización restringida es necesaria. Esto por dos razones :
Así que, dependiendo del objetivo del análisis, la optimización restringida puede ser una solución subóptima (estimando puramente los parámetros) o inapropiada (cuando se necesita la inferencia).
Por otro lado, los métodos penalizados (en este caso, las probabilidades penalizadas) están diseñados específicamente para estos casos, e introducen el sesgo de una manera controlada en la que se tiene en cuenta (en su mayor parte). Usando estos, no hay necesidad de ir a los métodos restringidos, ya que los algoritmos de optimización clásicos harán un trabajo bastante bueno. Y con la penalización correcta, la inferencia sigue siendo válida en muchos casos. Así que prefiero optar por un método de este tipo en lugar de poner restricciones arbitrarias que no están respaldadas por un marco inferencial.
Mis 2 centavos, YMMV.
El sentido general en la optimización es que si tienes una función convexa y sin restricciones, quieres usar las "cosas poderosas", descenso de gradiente, Newton, etc. Sin restricciones, los métodos de punto interior no son muy buenos (competitivos).
En particular, para el problema que estás estudiando (regresión logística binaria) deberías considerar probar el descenso de gradiente estocástico simple.
En realidad, nada impide aplicar las técnicas de optimización con restricciones a problemas sin ellas. De la misma manera que nada te impide empujar (en lugar de ir en coche) tu coche al trabajo. Pero definitivamente deberías probar los métodos de punto interior sin restricciones y convencerte de ello.
Finalmente mencionas que quieres probar métodos basados en la programación lineal presumiblemente sin restricciones, lo que piensas hacer en este caso no lo entiendo bien.
Que yo sepa, no hay ninguna razón que impida aplicar la optimización restringida a un problema no restringido. Sin embargo, esto puede no ser una gran idea en términos de complejidad computacional y convergencia. Por ejemplo, el ajuste de un modelo de regresión logística puede hacerse de forma eficiente con el enfoque Newton-Raphson (o la variante de puntuación de Fisher). No estoy seguro de que haya mucho que ganar con el enfoque del punto interior en este caso particular.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
