Tengo 500 observaciones y 200 predictores, y quiero hacer la predicción, mientras que la selección de algunas características importantes. Sé que la regularización método (ridge, lazo) son la contracción método de alto ajuste dimensional, y el lazo también tiene una ventaja de un modelo de selección. Es el hecho de que el establecimiento con 500 observaciones y 200 predictores no es un alto ajuste dimensional, pero quiero hacer algunas característica de la selección desde que tengo 200 características. Puedo usar el lazo cuando no es un alto ajuste dimensional?
Respuestas
¿Demasiados anuncios?
No hay nada que sugiera que usted necesita un número de predictores ($p$) tan grandes como 200 o tamaño de la muestra ($n$) como grandes 500, digamos más grande. (Usted puede encontrar que es sorprendente leer algunos de los primeros documentos en ambos métodos).
Usted puede utilizar correctamente los métodos de regularización como la cresta de regresión y el lazo en problemas con sólo un par de predictores -- los beneficios de la regularización todavía están presentes (de hecho la ilustración aquí se muestra cresta de regresión pueden ser útiles con dos predictores, y uno puede hacer un argumento para considerar que incluso con un solo predictor.)
rinspy
Puntos
106
Si un valor dado es multidimensional o no depende del número de muestras que tienes y el número de dimensiones. Aumentar el número de dimensiones requiere exponencialmente más datos de "llenar" el espacio de la función, ver la maldición de la dimensionalidad.
predictores de 200 observaciones 500 es un gran número de predictores.
Fenil Suchak
Puntos
74
Supongo que estás hablando de la configuración de p a n o p > n (como de grandes dimensiones), lazo tiene una ventaja adicional para resolver el problema de la singularidad que se produce en la configuración anterior,que fue antes de la motivación para el desarrollo de regularización (por Eso es muy utilizado en las dimensiones superiores). Más sobre esto aquí. En cuanto a tu caso aquí , aparte de los arriba ventaja de lazo , como se ha mencionado por otras respuestas que conserva sus otras ventajas como la reducción de la modelo de la varianza,la selección de subconjuntos, etc.
