Habrá una selección del modelo de problema de si hemos tenido acceso a un oráculo que nos dio la exacta generalización de error?

Question

Deje $\mathcal{E(h)}$ una función que dado algunas hipótesis de $h$ devuelve la generalización de error para que fija $h$.

Estaba leyendo algunas notas acerca del modelo de selección y generalización de error y dijo:

"Si hemos tenido acceso a $\mathcal{E(h)}$, no habría ningún modelo la selección del problema. Nos basta con seleccionar el más grande $\mathcal{H}$ a fin de encontrar un clasificador que minimiza el error".

Yo no estaba seguro de si estoy totalmente de apreciar o entiende que la declaración o de la realidad de acuerdo con la declaración. La razón es que, incluso si hemos tenido acceso a $\mathcal{E(h)}$ (que creo que se refieren a un oráculo, que se lleva a $h$ y sólo dice su verdadera generalización de error) creo que aún sería un problema para encontrar el modelo que tiene la hipótesis de que generaliza bien. La razón es, decir que el modelo de clases de $\mathcal{H}$ es infinita (es decir, hay un conjunto infinito de modelos a elegir). En realidad, no sabemos cuando $\mathcal{E(h)}$ ha llegado a su mínimo a menos que marque por cada $\mathcal{H}$ que es posible. es decir, incluso si había una cosa que yo no creo que el problema se elimina tan fácilmente porque, ¿cómo podemos estar seguros que hemos hallado la mejor $\mathcal{H}$ (en el polinomio de tiempo)? Básicamente siento que la cuestión se supone que tenemos una de oracle para determinar cuando la generalización es mínimo. Además, como ya he señalado, el algoritmo de/de giro de la máquina de la propuesta es decidable y no en P (es decir, que se puede correr para siempre...)

El principal problema/duda que tengo con esta pregunta es que, incluso con un Oráculo, no estoy convencido de que la selección del modelo se ha trivializado, una respuesta que intenta aborda este problema específico, tiene más posibilidades de afrontar mi pregunta mejor.

Answer 1

Básicamente siento que la cuestión se supone que tenemos una de oracle para determinar cuando la generalización es mínimo.

Por supuesto, el tener este sería excelente. Tener un oráculo que nos da el mejor modelo sería aún mejor. Sin embargo, parece que malinterpretar la función de oracle.

La tarea de un modelo de selección es escoger el mejor modelo a partir de un conjunto dado. Hacemos esto mediante la elección de la modelo que creemos que es la mejor generalización de rendimiento. Sin un oráculo para decirnos $\mathcal{E}(h)$ estamos obligados a estimar la generalización de rendimiento en lugar de ello, vamos a decir $\hat{\mathcal{E}}(h)$.

Porque tenemos que elegir un modelo basado en su estimado de la generalización de rendimiento no tenemos garantías de que el derecho de elegir uno. Esto es lo que hace que el modelo de selección complicado (y algo arbitrario). Si tuviéramos acceso a la verdadera generalización de desempeño, selección de modelo sería trivial.

La razón es, decir que el modelo de clases de $\mathcal{H}$ es infinita (es decir, hay un conjunto infinito de modelos a elegir).

Esta es una buena pregunta teórica, pero es algo tangencial a la práctica el problema, puesto que se suele deseos para elegir el mejor modelo dentro de un conjunto finito de opciones.

Usted está en lo correcto que un verdadero conjunto infinito de modelos daría un problema indecidible sin hacer más suposiciones. En la práctica, sin embargo, algunos supuestos son razonables.

Es común y, a menudo, es razonable asumir que la forma funcional de $\mathcal{E}(h)$ se comporta de una cierta manera con respecto a hyperparameters de un determinado modelo de clase (por ejemplo convexo). Si tales supuestos, globalmente óptima hyperparameters podría ser encontrado en el polinomio de tiempo.