También he tenido suerte usando el Plugin QGIS Generalizer (habilitar los plugins experimentales), y luego:
Vector > Geometry Tools > Polygons to lines
A continuación, utilice el plugin Generalizer para suavizar las líneas y los vértices
Plugins > Generalizer > Generalizer
Algorithm: "Chaiken's Algorithm"
A continuación, vuelva a convertir las líneas en polígonos
Vector > Geometry Tools > Polygons to lines
Esto hace un mejor trabajo alisando las líneas y redondeando las esquinas. Es un poco torpe tener que cambiar entre las líneas y los polígonos, pero funciona. Sé que hay maneras de hacer esto a través de Grass también, pero he encontrado que son difíciles de configurar.