Rademacher Bound, ¿una alternativa a la validación cruzada para Ridge?

Question

A continuación se muestra un teorema del libro "Foundations of Machine Learning".

Especifica los límites de generalización para la Regresión Kernel Ridge haciendo uso de la Complejidad Rademacher en modelos lineales. $R(h)$ es el error de generalización, y $\hat{R}(h)$ es el error empírico. Ahora casi todo lo conocemos, lo elegimos o lo podemos calcular. $m$ es el número de muestras de entrenamiento.

En lugar de encontrar la sanción adecuada $\Lambda$ a través de la validación cruzada, ¿podemos simplemente elegir el $\Lambda$ que minimice el lado derecho de la desigualdad? ¿Cuál debería ser el $\delta$ que debe establecerse para lograr el mejor resultado predictivo? ¿Cómo elegir $r$ lo más ajustado posible?

¿Es una alternativa a la validación cruzada para la regresión Kernel Ridge (o simplemente Ridge)?

Answer 1

El problema es que la segunda parte del límite superior del error de generalización puede ser enorme. Es decir, el límite no es muy ajustado, por lo que no podría dar una buena indicación del error de generalización.

Realmente no se puede elegir el $\Lambda$ que minimice el lado derecho de la desigualdad (que sería $0$ ), porque el teorema supone que $|f(x)| \leq \Lambda r$ . Así que, si lo minimizas tal cual, pierdes expresividad básicamente. ¿O te refieres a hacer una búsqueda en la red en $\Lambda$ Calibre el modelo y calcule el límite superior, luego seleccione el $\Lambda$ que después de la calibración minimiza todo el límite superior y no sólo la segunda parte del mismo?

Tampoco puedes elegir $r$ es un valor del problema dado por la distribución de sus datos. Básicamente es el radio de la bola en la que se encuentran los datos.

Finalmente, $\delta$ no influye en su capacidad de predicción. Es un indicador de "cómo de seguro" es este límite superior. De hecho, el límite superior no es determinista, sólo es válido con una cierta probabilidad. Escrito de forma holística sería: $$\mathbb{P}( \{R(h) \leq \hat{R}(h) + \frac{8r^2\Lambda^2}{\sqrt{m}} \left(1 + 0.5 \sqrt{\frac{\log{\delta^{-1}}}{2}}\right)\}) < 1 - \delta$$ Cuando se computa, generalmente se quiere un $\delta$ como por ejemplo $0.01$ pero no afecta mucho al resultado ya que es $\log{\delta^{-1}}$ .