Optimización: La raíz de todos los males en las estadísticas?

Question

He escuchado la siguiente expresión anterior:

"La optimización es la raíz de todos los males en las estadísticas".

Por ejemplo, la respuesta en este hilo hace que la declaración en referencia al peligro de la optimización de una manera demasiado agresiva durante la selección del modelo.

Mi primera pregunta es la siguiente: Es esta cita atribuible a alguien en particular? (por ejemplo, en las estadísticas de la literatura)

Por lo que entiendo, la declaración se refiere a los riesgos de sobreajuste. La sabiduría tradicional diría que una correcta validación cruzada ya la lucha contra este problema, pero parece que hay más a este problema que eso.

Debe estadísticos & ML de los profesionales recelan de la sobre-optimización de sus modelos, incluso cuando se respeta la cruz de validación de protocolos (por ejemplo, 100 anidada 10 veces CV) ? Si es así, ¿cómo podemos saber cuándo detener la búsqueda para "el mejor" modelo?

Answer 1

La cita es una paráfrasis de una Donald Knuth cita, uno que él mismo ha atribuido a Hoare. Tres extractos de la página de arriba:

Prematuro de la optimización es la raíz de todos los males (o al menos la mayoría de ella) en la programación.

$ $

Prematuro de la optimización es la raíz de todos los males.

$ $

Knuth se refiere a esto como "Hoare del Dictamen" 15 años después ...

No sé que estoy de acuerdo con las estadísticas de la paráfrasis*. Hay un montón de 'mal' en las estadísticas que no se refieren a la optimización.

Debe estadísticos & ML profesionales desconfíe siempre de sobre-optimización de sus modelos, incluso cuando se respeta la cruz de validación de protocolos (por ejemplo, 100 anidada 10 veces CV) ? Si es así, ¿cómo podemos saber cuándo detener la búsqueda para "el mejor" modelo?

Creo que lo importante es entender completamente (o tan completamente como sea posible) las propiedades de lo que los procedimientos que realizan.

$\,^\text{* I won't presume to comment on Knuth's use of it, since there's little I could}$ $\quad ^\text{say that he couldn't rightly claim to understand ten times as well as I do.}$