GeoServer trabaja con límites de memoria, que son una forma más precisa y predecible de controlar el uso de la memoria.
El tamaño de la imagen per se no es muy significativo, dependiendo de la profundidad de bits puede ser muy pequeño, como en el caso de las imágenes empaquetadas en blanco y negro que almacenan 8 píxeles en un byte, o grande, con hasta 4 bytes por imagen (suponiendo salidas de 8 bits). Además, el tamaño de la imagen depende demasiado de la relación de aspecto (una determinada salida puede ajustarse a la cantidad total de píxeles pero fallar la comprobación porque su relación de aspecto no es la misma que la de los límites).
El inconveniente de los límites de memoria es que no se pueden anunciar en el documento de capacidades. La belleza del código abierto es que puedes presionar para que GeoServer implemente esa característica, sigue esta guía si estás interesado: https://github.com/geoserver/geoserver/wiki/Successfully-requesting-and-integrating-new-features-and-improvements-in-GeoServer