Me he encontrado con este problema al intentar hacer zoom en OSM.
Aquí hay un vídeo sobre el tema:
https://i.imgur.com/emqxC7S.mp4
No lo tengo cuando uso el mapa mundial de QGIS. Básicamente, al hacer zoom directamente sin mover el ratón en ninguna dirección, la ubicación en el mapa se mueve hacia la derecha.
Soy nuevo en QGIS.