Grados de libertad de la regresión Ridge: ¿límite según el tamaño de la muestra?

Question

Estoy trabajando en un problema de regresión logística de alta dimensión. Tengo 40 variables ( $p=40$ ) y 900 muestras ( $n=900$ ), pero sólo 30 de esas muestras están en la clase que intento predecir.

Estoy ajustando un modelo predictivo utilizando la máxima verosimilitud penalizada (regresión ridge, mediante glmnet ). Para ello es necesario establecer un valor para el término de penalización $\lambda$ . Típico, $\lambda$ se determina mediante validación cruzada.

También he estado leyendo Frank Harrell que sugiere mantener los grados de libertad de un modelo por debajo de una fracción del "tamaño de muestra límite", $m$ . Como regla general, sugiere $df < m/15$ . En mi caso, donde $m = 30$ Esto significaría mantener los grados de libertad por debajo de 2.

Los grados de libertad efectivos en la regresión de cresta se pueden calcular en función de $\lambda$ , $$df(\lambda) = \sum^{p}_{j=1} d_j^2 / (d_j^2 + \lambda)$$ donde $d_j$ son los valores singulares de la matriz muestral ( ESL , ecuación 3.50).

En la regresión de crestas (u otras técnicas de máxima verosimilitud penalizada), ¿es aconsejable elegir alguna vez $\lambda$ utilizando el tamaño de muestra límite $m$ ¿en lugar de elegirlo mediante validación cruzada? ¿En qué casos puede ser aconsejable?

Answer 1

El propio Harrell es un usuario de aquí y podría intervenir. En su defecto, y al no tener un ejemplar del libro en cuestión, sólo puedo decir que no veo ninguna razón para utilizar los grados de libertad y $m$ para elegir $λ$ . La motivación para utilizar la validación cruzada es que se quiere elegir el $λ$ que maximiza la precisión de la predicción, y la validación cruzada da una buena estimación de la precisión de la predicción. No veo por qué utilizar $m$ obtendría una precisión predictiva mejor.