Promedio de los coeficientes LASSO para la partición aleatoria repetida de datos

Question

Es razonable que el promedio de LAZO coeficientes de la repetición reorganización de la formación/conjuntos de la prueba?

Supongamos que divida a mis datos en pruebas y conjuntos de entrenamiento, a continuación, en el conjunto de entrenamiento y el uso de 10-fold cross-validation para elegir un óptimo $\lambda$, a continuación, vuelva a colocar en la formación completa de datos y registrar el modelo de coeficientes. Ahora, supongamos que yo repita este proceso $k$ número de veces. En cada iteración se elige ligeramente diferentes coeficientes. Uno podría pensar que el promedio de éstas. Sin embargo, en cada iteración no pueden elegir el mismo conjunto de no-cero de los coeficientes, por lo tanto la media de todos los coeficientes pueden contener muchos más que no sea cero los coeficientes de que cualquier solución única.

He encontrado esta breve discusión aquí, pero no quiero ser confundido por la discusión adicional de múltiples imputación: La combinación de LAZO coeficientes a través de conjuntos de datos imputados Por favor, tenga en cuenta que la respuesta no siempre fue aceptado para esta pregunta.

Answer 1

Una cosa similar con bootstrap replicación es implementado en el "bolasso" función del paquete de R "mht" (para varias pruebas de hipótesis), y publicado aquí http://www.di.ens.fr/sierra/pdfs/icml_bolasso.pdf pero tomar la intersección de los conjuntos de los predictores con un valor distinto de cero los coeficientes de todas las muestras de replicación y, a continuación, ajuste unregularized de los estimadores de mínimos cuadrados utilizando sólo las variables.

Usted señaló que el problema con la toma de la unión de los apoyos, que se pierde la ventaja de la reducción de dimensionalidad, y su Lazo estimaciones son aún parciales.