La navaja de Occam obsoleto?

Question

Vi Vapnik libros sobre estadística de aprendizaje... he leído los primeros capítulos. De todos modos lo que más me sorprendió fue que él pensaba que la navaja de Occam era obsoleto.

Pensé que estaba relacionado con la situación en la que asumiendo una mayor dimensión de mejora significativamente el confort.

Estoy entendió? Es correcto que la navaja de Occam no puede ser ya no como Vapnik dijo?

¿Hay algún argumento de que la navaja de Occam no debería ser considerado como la predeterminada?

La exacta sentencias llegan desde el Prefacio a la Segunda Edición de la Naturaleza de La Estadística de Aprendizaje, que son:

Los años transcurridos desde la primera edición de el libro también han cambiado la general la filosofía en nuestra comprensión de la naturaleza de la inducción problema. Después de muchos experimentos exitosos con SVM, los investigadores se dieron más determinado en la crítica de la filosofía clásica de la generalización basada en en el principio de la navaja de Occam."

Quisiera que alguien podría elaborar la crítica de la navaja de Occam.

Answer 1

Depende de lo que usted considere como la "navaja de Occam"; la formulación original es un claro teológica de pacotilla, por lo que floreció en un montón de (a menudo incompatibles) interpretaciones.

Vapnik critica la ultranaive versión diciendo más o menos que un modelo con el menor número de armarios de los parámetros es mejor porque el exceso de parámetros implica el sobreajuste, es decir, algo en la melodía de los métodos de Runge la paradoja.
Por supuesto que es falso en el aprendizaje de máquina debido a la "greedyness de ajuste" no es que no está limitado por el número de parámetros, pero (a través de alguna heurística) por el modelo de exactitud en los datos futuros.

Pero ¿significa esto que ML de formación es la introducción de la pluralidad sin necesidad de ello? Yo personalmente digo que no, debido principalmente a la segunda parte -- ML modelos son generalmente mejor que de la mano-rapado clásica regresiones, por lo que esta complejidad extra vale la pena. Incluso si puede ser reducido por un ser humano a una simplificación de la teoría, casi siempre vienen por un precio adicional de los supuestos, por lo que no es una comparación justa.