La ingeniería de características tiene que ver con los datos y es el proceso de encontrar/crear características que puedan mejorar el rendimiento de su modelo. A veces se diseñan nuevas características a partir de los datos brutos de que se dispone, se utilizan las existentes y se realizan transformaciones univariantes/multivariantes. Así, por ejemplo, al diseñar más características, su modelo de regresión lineal puede convertirse en $y=w_1x_1+w_2x_2+b$ donde $x_1,x_2$ son sus características de ingeniería.
La optimización de hiperparámetros (HPO) está relacionada con el modelo que se tiene, no con los datos. Muchos modelos tienen hiperparámetros que hay que ajustar. En regresión lineal simple sin regularización no tenemos ninguno. En $w$ coeficiente es un parámetro del modelo, así como $b$ . No son hiperparámetros. Un hiperparámetro puede ser el coeficiente de regularización, $\lambda$ en su regularizado modelo de regresión lineal.