¿Qué tan defendible es elegir $\lambda$ en un modelo LASSO para que produzca el número de predictores no cero que uno desea?

Question

Cuando determino mi lambda a través de la validación cruzada, todos los coeficientes se convierten en cero. Pero tengo algunos indicios en la literatura de que algunos de los pronosticadores deberían definitivamente afectar el resultado. ¿Es una tontería elegir arbitrariamente lambda para que haya tanta escasez como se desee?

Quiero seleccionar los 10 principales predictores de entre 135 para un modelo de Cox y los tamaños de los efectos son desafortunadamente pequeños.

Answer 1

Si quieres tener al menos un número definido de predictores con algún rango de valores definidos por la literatura, ¿por qué elegir el enfoque de LASSO puro para empezar? Como @probabilityislogic sugirió, deberías usar algunos antecedentes informativos sobre aquellas variables de las que tienes algún conocimiento. Si quieres retener algunas de las propiedades de LASSO para el resto de los predictores, quizás podrías usar un prior con una distribución exponencial doble para cada una de las otras entradas, es decir, usar una densidad de la forma $$p( \beta_i )= \frac { \lambda }{2} \text {exp} \left (- \lambda | \beta_i | \right ),$$ donde $\lambda$ es el multiplicador de lagrange correspondiente a la solución de LASSO pura. Esta última afirmación proviene del hecho de que, en ausencia de las variables con los priores informativos, esta es otra forma de derivar el LASSO (maximizando el modo posterior dado los supuestos de normalidad para los residuos).

Answer 2

Existe una buena manera de realizar el LASSO pero usando un número fijo de predictores. Es la regresión del ángulo mínimo (LAR o LARS) descrita en el artículo de Efron. Durante el procedimiento iterativo crea un número de modelos lineales, cada nuevo tiene un predictor más, así que puedes seleccionar uno con el número deseado de predictores.

Otra forma es $l_1$ o $l_2$ regularización. Como mencionó Néstor, usando los antecedentes apropiados puedes incorporar el conocimiento previo en el modelo. La llamada máquina de vectores de relevancia de Tipping puede ser útil.