¿Qué significa "vainilla"?

Question

En los blogs sobre aprendizaje automático encuentro con frecuencia la palabra "vainilla". Por ejemplo, "Vanilla Gradient Descent" o "Vanilla method". Este término no aparece en ningún libro de texto sobre optimización.

Por ejemplo, en este Correo electrónico: dice:

Se trata de la forma más sencilla de la técnica de descenso de gradiente. [ ] significa puro / sin ninguna adulteración. Su principal característica es que es que damos pequeños pasos en la dirección de los mínimos tomando el gradiente de la función de coste. de la función de coste.

¿Qué significa "adulteración" en este contexto? El autor va más allá al contrastar el descenso por gradiente vainilla con el descenso por gradiente con impulso. Así que en este caso el descenso por gradiente vainilla es otra palabra para el descenso por gradiente.

En otro Correo electrónico: dice,

Descenso de gradiente vainilla, también conocido como descenso de gradiente por lotes,...

Lamentablemente, yo tampoco he oído hablar nunca del descenso de gradiente por lotes. Vaya.

¿Puede alguien aclarar qué significa "vainilla" y si existe una definición matemática más firme al respecto?

Answer 1

Vainilla significa versión estándar, habitual o no modificada de algo. Descenso de gradiente vainilla significa el algoritmo básico de descenso de gradiente sin ningún tipo de campanas o silbatos.

Existen muchas variantes del descenso por gradiente. En el descenso de gradiente habitual (también conocido como descenso de gradiente por lotes o descenso de gradiente vainilla), el gradiente se calcula como la media del gradiente de cada punto de datos.

$$\nabla f = \frac{1}{n}\sum_i \nabla \text{loss}(x_i)$$

En el descenso de gradiente estocástico con un tamaño de lote de uno, podríamos estimar el gradiente como

$$\nabla f \approx \nabla \text{loss}(x^*)$$ donde $x^*$ es una muestra aleatoria de todo nuestro conjunto de datos. Es una variante del descenso por gradiente normal, por lo que no sería un descenso por gradiente vainilla. Sin embargo, dado que incluso el descenso de gradiente estocástico tiene muchas variantes, podría llamarse "descenso de gradiente estocástico vainilla", al compararlo con otras alternativas SGD más sofisticadas, por ejemplo, SGD con momentum.