Sí se puede. anova() puede utilizarse para la comparación de modelos siempre que se ajusten dos modelos anidados al mismo conjunto de datos. En este caso se desea comparar un modelo lineal
$y = \beta_0 + \beta_1 x$
con un modelo cuadrático
$y = \beta_0 + \beta_1 x + \beta_2 x^2$
Mientras no haya nada diferente entre los dos modelos, aparte de la presencia del término cuadrático ( $\beta_2 x^2$ ) entonces es una comparación perfectamente razonable.
(Estrictamente hablando, debería seguir siendo una comparación razonable si hubiera otras variables añadidas en el modelo cuadrático también, pero ya no sería una prueba de si un modelo con un término cuadrático se ajusta mejor a los datos que uno con sólo un término lineal).
Editar: Como ha señalado fcop. Sólo es apropiado utilizar anova() para las comparaciones entre modelos de efectos mixtos (como los producidos por lme() y g/lmer()) cuando se han ajustado utilizando la máxima verosimilitud, en lugar de con REML.