Pérdida para la regresión Kernel Ridge

Question

Es $||Y-X\beta||_2^2 + \lambda\beta^T K\beta$ ¿Es la función de pérdida estándar en la regresión kernel ridge, o es diferente? Además, ¿es el kernel gaussiano una opción estándar utilizada para el kernel, en la práctica? Si no es así, ¿qué núcleos se utilizan más a menudo? Además, ¿es $\lambda$ el único parámetro que debe ajustarse mediante validación cruzada o es el parámetro del núcleo como $\sigma$ en un núcleo gaussiano, ¿también ajustado mediante validación cruzada en la práctica? Por favor, confirme y/o corrija mi comprensión de la regresión Kernel ridge.

Answer 1

1. La función de pérdida estándar para la regresión kernel ridge es: $||Y-K\beta||_2^2 + \lambda\beta^T K\beta$ . A la ecuación de su pregunta le falta la matriz del núcleo K en el $L_2$ término de error.

2. En la práctica, los núcleos gaussiano (también conocido como RBF) y polinómico son opciones populares y podrían ser un buen punto de partida. Sin embargo, la elección del núcleo suele depender del problema que se plantee. A veces puede ser útil pensar en el núcleo como una métrica de similitud para los vectores de datos de entrada. Es posible que tenga que experimentar con diferentes núcleos para hacer una elección adecuada para el conjunto de datos específico.

3. Sí, además de $\lambda$ tendrá que determinar los parámetros del núcleo a través de la validación cruzada.

Answer 2

No estoy de acuerdo con su primer punto. El $L_2$ El modelo regularizado es $$ \parallel Y-K\beta \parallel_2^2 + \lambda \beta^T R \beta $$ donde K es la matriz del núcleo conocida y $R$ es la matriz de regularización. $K=R$ sólo es una buena opción, cuando se utiliza el kernel gaussiano. Para más información, consulte A. Smola, B. Schölkopf, On a Kernel-based Method for Pattern Recognition, Regresión, aproximación e inversión de operadores, 1997

@autor, la discusión sobre los "buenos núcleos" es bastante popular. Ver este post por ejemplo: ¿Qué función podría ser un núcleo?

Sin embargo, hay formas de calcular un núcleo optimizado basado en su idea de regularización. Deberías encontrar algunos enfoques presentados en NIPS.