¿Pueden (¿deben?) utilizarse técnicas de regularización en un modelo de efectos aleatorios?

Question

Por técnicas de regularización me refiero a lasso, ridge regression, red elástica y similares.

Consideremos un modelo predictivo sobre datos sanitarios que contenga datos demográficos y de diagnóstico en el que se esté prediciendo la duración de la estancia para hospitalizaciones. Para algunos individuos hay múltiples observaciones de LOS (es decir, más de un episodio de IP) durante el período de tiempo de referencia que están correlacionadas.

¿Tiene sentido construir, por ejemplo, un modelo predictivo de red elástica que contenga un término de intercepción de efecto aleatorio para cada individuo?

Answer 1

Hay algunos documentos que abordan esta cuestión. Yo los buscaría sin ningún orden especial:

1. Pen.LME: Howard D Bondell, Arun Krishna y Sujit K Ghosh. Selección conjunta de variables for fixed and random eects in linear mixed-eects models. Biometrics, 66(4):1069-1077, 2010.

2. GLMMLASSO: Jurg Schelldorfer, Peter Buhlmann, Sara van de Geer. Estimación for high-dimensional linear mixed-eects models using L1- penalization. Scandinavian Journal of Statistics, 38(2):197-214, 2011.

que puede encontrarse en Internet.

Resulta que ahora estoy terminando un artículo sobre la aplicación de una penalización de red elástica al modelo mixto (LMMEN) y tengo previsto enviarlo para su revisión en una revista el mes que viene.

3. LMMEN: Sidi, Ritov, Unger. Regularización y clasificación de modelos lineales mixtos mediante la penalización de red elástica

En general, si usted está modelando los datos que no es normal o no tiene un vínculo de identidad me iría con GLMMLASSO, (pero tenga cuidado de que no puede manejar un montón de RE). De lo contrario, Pen.LME es bueno si no tiene datos muy correlacionados, ya sea en los efectos fijos o aleatorios. En este último caso puedes enviarme un correo electrónico y estaré encantado de enviarte el código/documento (lo pondré en cran en un futuro próximo).

He subido a CRAN hoy - lmmen . Resuelve el problema del modelo lineal mixto con una penalización de tipo red elástica sobre los efectos fijos y aleatorios simultáneamente.

También hay en el paquete cv funciones para el lmmlasso y glmmLasso paquetes en él.

Answer 2

Siempre he considerado la regresión de cresta como modelos empíricos de efectos aleatorios no limitados a una única variable categórica (y sin matrices de correlación extravagantes). Casi siempre se pueden obtener las mismas predicciones a partir de la validación cruzada de una penalización de cresta y el ajuste/estimación de un efecto aleatorio simple. En su ejemplo, podría ponerse elegante y tener una penalización de cresta separada en las características de demostración/diagnóstico y otra en los indicadores de paciente (usando algo parecido al factor de escala de penalización en glmnet ). Otra posibilidad es incluir un efecto aleatorio que tenga efectos correlacionados con el tiempo por persona. Ninguna de estas posibilidades es correcta o incorrecta, simplemente son útiles.

Answer 3

En estos momentos estoy dándole vueltas a una pregunta similar. Creo que en la aplicación, puedes hacerlo si funciona y crees que utilizar esto es razonable. Si se trata de una configuración habitual en efectos aleatorios (es decir, tiene mediciones repetidas para cada grupo), entonces se trata sólo de la técnica de estimación, que es menos controvertida. Si en realidad no tiene muchas mediciones repetidas para la mayoría de los grupos, entonces podría situarse en el límite del modelo habitual de efectos aleatorios y podría querer justificar cuidadosamente su validez (desde una perspectiva metodológica) si quiere proponerlo como método general.